🧬 Технический отчет за май: Промышленная интеграция ИИ и вещательных стандартов аудио
В течение всего мая наша работа была сосредоточена вокруг двух основных направлений: «высокоразмерного семантического поиска» и «профессиональных стандартов аудио». Мы провели глубокую архитектурную оптимизацию и осуществили поставку ключевых функций для AI Music Organizer (AIMO). Завершая майский цикл высокоинтенсивных итераций и рефакторинга кода, мы рады представить звукорежиссерам и создателям контента еще более надежную и эффективную базу для управления аудиоактивами.
🏷 Автоматическая классификация UCS и индустриальные стандарты BWF
Чтобы помочь саунд-дизайнерам и создателям контента эффективно организовывать хаотичные библиотеки сэмплов, мы реализовали как интеллектуальную классификацию с помощью ИИ, так и поддержку профессиональных метаданных:
- Система автоматического тегирования UCS: Внедрен механизм автотегирования Universal Category System (UCS) на основе локального векторного поиска высокой размерности. При импорте аудиофайла система проводит семантический анализ, автоматически рекомендует подходящие категории UCS и предоставляет визуальные инструменты для предпросмотра и настройки.
- Поддержка метаданных вещательного аудио BWF: Обеспечена полная совместимость со стандартом Broadcast Wave Format (BWF). Система считывает и парсит специфические метаданные BWF (такие как iXML и встроенные поля описания) и регистрирует их в качестве встроенных пользовательских тегов. Пользователи могут осуществлять детальную фильтрацию активов по BWF-характеристикам, что полностью отвечает требованиям стандартизации в постпроизводстве кино, телевидения и аудио для видеоигр.
🧠 Векторный движок CLAP: Аппаратное ускорение CoreML и отказоустойчивость
В рамках поддержки масштабных аудиобиблиотек объемом более 500 000 (500K+) файлов основное внимание было уделено вычислительной производительности векторного поиска и надежности среды выполнения:
- Аппаратное ускорение CoreML: На платформе macOS для моделей аудиоэмбеддингов CLAP было включено ускорение CoreML, что существенно снизило нагрузку на процессор при извлечении признаков и в два раза повысило скорость сканирования.
- Быстрый прогрев и кэширование: Реализован механизм кэширования для текстовых запросов CLAP и автоматический прогрев (Warmup) поисковой среды при запуске приложения, благодаря чему семантический поиск готов к работе мгновенно.
- Прерываемое восстановление индекса: Процесс перестроения векторного индекса переведен на прерываемую архитектуру (Cancellable Rebuild), что позволяет приостанавливать ресурсоемкие задачи и возобновлять их из сохраненного архива без потери прогресса.
- Оптимизация для Windows: Для решения спорадических конфликтов блокировки директорий (transient directory rename) при переименовании файлов в LanceDB под Windows был внедрен механизм автоматического повтора с экспоненциальной задержкой, что полностью устранило ошибки записи.
💼 Инструменты повышения продуктивности: Панель Basket и экосистема XLSX-коллаборации
- Независимый рабочий процесс Basket: Представлена плавающая панель Basket (корзина материалов) с поддержкой многооконного роутинга. Теперь система сохраняет размеры и координаты окна Basket, а также поддерживает экспорт в кэш WAV в один клик, что позволяет беспрепятственно отбирать материалы на нескольких экранах.
- Синхронизация XLSX (Roundtrip Jobs): Налажен процесс сквозной сверки данных. Пользователи могут экспортировать выбранные метаданные в Excel-таблицы, передавать их внешним партнерам для редактирования, а затем повторно импортировать файл для автоматического сравнения изменений, создания безопасного превью патча и записи в базу данных.
- Автоматический пост-анализ: Добавлен триггер действий после анализа (Post-analysis writeback pipeline), позволяющий настроить автоматическую физическую запись метаданных в файлы сразу после завершения анализа аудио.
- Рефакторинг Split-Module: Завершен модульный рефакторинг бэкенда. Монолитный адаптер Tauri разделен на специализированные клиенты (library, audio-analysis, writeback, storage), а также полностью удалены устаревшие интерфейсы LLM, что сделало код более понятным и поддерживаемым.
🧪 Комплексное интеграционное тестирование
Для обеспечения надежности управления огромными объемами аудиоактивов в мае мы разработали и укрепили автоматизированную матрицу интеграционных тестов:
- Контрактные проверки векторного поиска: Добавлены контрактные тесты (Contract Guards) для бэкенда LanceDB и векторных запросов, гарантирующие стабильность структуры данных на стыке Tauri-Rust.
- Регрессионные тесты импорта/экспорта XLSX: Добавлены сквозные регрессионные проверки для рабочих процессов XLSX, включая валидацию столбцов, разрешение конфликтов импорта и предварительный просмотр патчей.
- Покрытие фильтрации BWF и пользовательских тегов: Добавлены тестовые сценарии для фильтрации метаданных BWF, обеспечивающие правильность применения правил исключения при обработке встроенных свойств BWF.
- Повышение надежности тестового набора: Оптимизирована отказоустойчивость автоматизированных тестов фронтенда, включая обработку исключений среды выполнения CLAP (автоматический пропуск, если локальные бандлы неполные) и совместимость путей в Windows.
✅ Выполнено в мае
- [x] Система автоматического тегирования UCS и сопоставление векторного поиска.
- [x] Парсинг вещательных метаданных BWF и расширенная фильтрация пользовательских тегов.
- [x] Ускорение CoreML macOS для аудио CLAP и прогрев кэша запросов.
- [x] Возможность отмены перестроения векторного индекса и сохранение состояния.
- [x] Независимое плавающее окно Basket и сохранение состояния окон Tauri.
- [x] Импорт/экспорт XLSX и безопасное слияние изменений (Roundtrip Jobs).
- [x] Масштабный модульный рефакторинг (Split-Module Refactoring) и очистка устаревших API.
- [x] Единые регрессионные тесты для векторного поиска и циклов XLSX.