로컬 디지털 음악 라이브러리의 규모가 폭발적으로 증가함에 따라 자동화되고 지능적인 음악 태그 분석은 오디오 애호가와 전문 정리자들에게 필수적인 기능이 되었습니다. 하지만 AI 자동 태깅을 도입할 때 우리는 심각한 엔지니어링 문제에 직면했습니다. 최고 수준의 분석 깊이를 보장하면서도 사용자의 소중한 원본 오디오 파일이 100% 오염되지 않도록 보장하는 방법은 무엇일까요?
아키텍처 진화의 첫 번째 단계에서 우리는 **오디오 분석 파이프라인(Audio Analysis Pipeline)**을 분리하고 선구적인 **초안 시스템(Draft System)**을 도입하여 이 모순을 완전히 해결했습니다.
I. 오디오 분석을 위한 듀얼 레인 아키텍처
분석 정확도, 성능 및 오프라인 가용성의 균형을 맞추기 위해 기본 계층의 분석 작업을 순수 디지털 신호 처리(DSP)와 딥 러닝 추론(ONNX)이라는 두 개의 독립적인 레인으로 분리하면서도 상위 계층의 이벤트 및 상태 흐름은 통합했습니다.
1. AudioMath: 순수 DSP를 통한 음향 매개변수 감지
BPM, 키(Key/Camelot) 및 진위 HiFi 판별을 위해 우리는 AudioMath 레인을 사용합니다. 이 레인은 ONNX 모델에 전혀 의존하지 않으며 클래식 DSP 알고리즘을 활용합니다:
- 성능 이점: 디코딩된 오디오 파일의 PCM 스트림을 직접 읽어 Rust 계층에서 에너지 급변과 자기 상관을 계산하므로 메모리가 크게 절약됩니다.
- 진위 HiFi 판별: 고주파수 절단 및 가짜 업샘플링을 방지하기 위해 전처리 계층에서 동적 샘플링 속도 패스스루를 지원하고 오디오의 스펙트럼 감쇠를 직접 분석하여 리샘플링으로 인한 오류를 방지합니다.
2. MusicTags: ONNX를 통한 의미론적 분류
장르(Genre), 분위기(Mood), 악기(Instruments)와 같은 추상적인 의미 체계에 대해서는 로컬에서 실행되는 딥 러닝 모델을 사용합니다. 통합된 audio_analysis 긴 작업으로 래핑된 모델 출력은 사용자의 태그 세트에 정확하게 매핑됩니다.
[!NOTE]
두 레인 모두 네트워크 종속성이 없는 설계를 엄격하게 준수하여 모든 미디어 자산 분석이 에지(로컬)에서 100% 완료되도록 보장하여 극도로 높은 개인정보 보호 기준을 충족합니다.
II. 획기적인 초안 시스템 (Draft System)
AI 모델은 강력하지만 사용자의 개인적인 취향에 100% 완벽하게 맞출 수는 없습니다. 기존 음악 관리 소프트웨어는 분석 후 오디오 메타데이터를 직접 덮어쓰는 경우가 많아 개인 라이브러리를 세심하게 유지 관리하는 사용자에게 매우 파괴적입니다.
이를 해결하기 위해 우리는 SQLite 기반 초안 시스템을 도입했으며, 이는 우리 아키텍처의 핵심 하이라이트 중 하나입니다.
초안 시스템의 핵심 논리는 수동 편집이든, AI 분석이든, 일괄 가져오기든 관계없이 수정 사항이 원본 오디오 파일에 직접 기록되지 않는다는 것입니다. 이들은 먼저 디지털 패치 계획(Patch Plan)을 생성하고 "초안"으로 독립적이고 성능이 뛰어난 SQLite 데이터베이스에 안전하게 저장됩니다.
워크벤치 내에서 사용자는 이러한 초안의 효과를 원활하게 미리 볼 수 있습니다. 사용자가 완전히 확인하고 자발적으로 "적용 및 쓰기"를 클릭한 경우에만 시스템은 원자적 안전 쓰기 파이프라인(임시 파일에 쓰기, 대체, 그리고 .bak 복사본을 통한 롤백 메커니즘 유지)을 사용하여 이러한 태그를 파일에 확실히 고정합니다.
III. 진위 HiFi 판별의 실제 적용
AudioMath DSP 레인에서 진위 HiFi 판별은 우리 제품의 괴짜 정신을 매우 잘 보여주는 기능입니다.
위 그림에서 볼 수 있듯이 오디오를 정리할 때 "24bit/192kHz"로 레이블이 지정된 고해상도 무손실 형식을 발견하면 스펙트로그램 대화상자를 직접 불러올 수 있습니다. 엔진 하단에서 PURE_QUALITY_CUTOFF_HZ와 해당 신뢰도 점수를 계산합니다.
- TRUE_HIRES (진짜 고해상도)
- SUSPICIOUS_UPSAMPLING (가짜 업샘플링 의심)
- SUSPICIOUS_LOSSY (손실 변환 의심)
원본 DSD를 잘못 판단하지 않도록(DFF/DSF 형식에서 발생하는 고주파 노이즈 셰이핑은 기존 알고리즘에서 종종 오판됨) 이 프로세스를 디코더 단계에 깊이 통합하여 네이티브 PCM 샘플링 속도에 해당하는 에너지 감쇠 폭포를 추출했습니다. 이를 통해 시스템은 사용자가 태그를 쓰기 전에 지능적이고 정확하게 문제를 예방할 수 있습니다.
결론
이 두 가지 핵심 경로를 통해 AI Music Organizer는 로컬 데이터 개인 정보 보호를 보장하면서 태그 메타데이터 분석에서 성능과 안전의 길을 개척했습니다. 향후 기술 분석 시리즈에서는 그 이면에 있는 검색 엔진과 다국어 의미 체계 아키텍처에 대해서도 깊이 파고들 예정이니 많은 기대 부탁드립니다.