원본 MuQ의 층별 1,024차원 시간 표현을 읽고, 동결된 백본 뒤의 소형 트랜스포머를 학습합니다. 통과 여부를 먼저 판단한 뒤 A/S 등급을 나누며, 경계의 곡은 거부합니다. 이 보고서는 실행 설정·체크포인트 텐서·평가 기록을 대조해 현재 구현을 설명합니다.
원본 표현의 폭과 선택한 층을 연결한 판단부 입력 폭을 구분합니다.
백본이 만드는 표현, 사용하는 층의 수, 판단부의 입력 차원을 각각 확인하실 수 있습니다. 기본 설정뿐 아니라 실행된 후보의 가중치 형태까지 대조했습니다.
설치된 적재 코드의 내부 모델은 MuQ 클래스이며, 모델 구성은 OpenMuQ/MuQ-large-msd-iter입니다. 인코더 12층의 숨은 상태는 각각 1,024차원입니다. 반환 목록에는 입력 단계까지 포함해 인덱스 0~12의 13개 상태가 있습니다.
실제 특징은 내부 MuQ의 hidden_states를 직접 읽습니다. MuLan의 512차원 투영 벡터나 텍스트 임베딩은 이 입력으로 사용하지 않습니다.
저장소의 적재 진입점에는 MuQMuLan.from_pretrained가 남아 있습니다. 그 객체 안의 mulan.audio.model을 추출해 사용하므로, 적재 컨테이너 이름만으로 백본이나 입력 차원을 설명하면 부정확합니다.
MuQMuLan 체크포인트 전체를 적재하는 경로이므로, 독립 MuQ 배포본과 가중치가 완전히 같은지는 별도 대조 없이는 확정하지 않습니다. 이 보고서의 원본 MuQ 설명은 확인된 클래스·구성·시간 표현을 뜻합니다.
동결 MuQ의 특징 추출부터 학습되는 시간 트랜스포머, 계층 점수, 선택적 거부까지 이어집니다. 상자를 누르면 각 단계의 입력·출력과 계산 근거를 확인하실 수 있습니다.
음악 파일을 숫자로 된 소리의 파형으로 읽습니다. 여러 채널의 소리를 모노로 합치고, 초당 24,000개의 표본으로 맞춥니다. 그런 다음 10초 길이의 문맥 창으로 곡을 살펴봅니다.
채널 평균 → 24,000 Hz 리샘플링 → 10초 문맥입니다. 10초보다 짧으면 뒤를 0으로 채우되 실제 소리가 있는 부분을 구분합니다. 끝부분은 마지막 10초가 들어오도록 창을 옮길 수 있습니다. 이 단계의 형식 통일은 파형의 음량 정규화와는 별개입니다.
원본 MuQ 소리 인코더는 각 시간 위치를 1,024개의 숫자로 표현합니다. 12개 인코더 층의 중간 상태를 선택해 사용하며, 이 백본의 가중치는 동결합니다. 음악 등급을 배우는 동안 뒤에 붙인 판단부만 갱신합니다.
내부 모델 구성은 OpenMuQ/MuQ-large-msd-iter입니다. MuQMuLan은 적재 컨테이너이며, 사용하는 출력은 그 안의 MuQ 시간별 숨은 상태입니다. 512차원 MuLan 투영 출력은 사용하지 않습니다. 반환되는 숨은 상태는 0~12의 13개, 각 폭은 1,024입니다. 추출·저장은 FP32(32비트 부동소수점), eval 모드이며 모든 백본 매개변수는 requires_grad=False입니다.
MuQ가 만든 표현을 곡의 약 2초 구간마다 평균 내어 요약합니다. 사용할 층이 여러 개라면 같은 시간의 숫자들을 이어 붙입니다. 곡 안에서 언제 나온 메모인지도 함께 보관합니다. 학습할 때는 이 특징을 캐시에 저장해 반복 사용합니다.
각 구간 안의 유효 프레임을 층별로 평균 내고 선택 순서대로 연결합니다. 한 층은 1,024차원이며 k개 층의 연결은 1,024 × k입니다. 고정된 14세대 최고 모델은 [10, 9], 함께 실행된 단일 층 후보는 [11]을 사용했습니다. 문맥이 겹쳐도 각 구간은 가장 이른 포함 창에 한 번만 배정합니다. 0.5초 미만의 꼬리나 프레임이 없는 구간은 인접 구간과 병합합니다.
각 시간 메모의 크기를 정규화하고 작은 표현으로 바꾼 뒤, 시간 정보와 함께 트랜스포머에 넣습니다. 트랜스포머는 곡의 여러 구간을 서로 참조합니다. 함께 넣은 세 개의 학습된 질문 토큰이 곡 전체의 정보를 받아 판단에 필요한 표현을 만듭니다.
구간별 L2 정규화 → 선형 투영 → LayerNorm(층 정규화) 뒤에 절대 구간 중심 시각의 사인·코사인 표현, 유효 비율과 토큰 종류 정보를 더합니다. 질문 3개를 음악 N개 앞에 붙여 한 시퀀스로 처리합니다. 고정된 모델은 폭 256, 주의 집중 머리 4개, 깊이 2층, 내부 확장 폭 1,024, dropout(일부 값을 비워 학습하는 비율) 0.3입니다. 질문 출력은 LayerNorm → Linear(256→256) → GELU → Linear(256→1)를 공유해 사용하고, 출력별 편향 3개를 더합니다. 채움 토큰은 참조 대상에서 제외합니다.
첫 질문은 ‘이 곡이 Pass인가요, Fail인가요?’입니다. 두 관문 점수의 차이가 통과 쪽으로 얼마나 기우는지 나타냅니다. 두 번째 질문은 ‘Pass라고 할 때 A인가요, S인가요?’입니다. 실제 결과는 이 순서를 따라 결정합니다.
출력 (f, p, c)의 의미는 Fail 관문, Pass 관문, S|Pass입니다. 관문 점수 m = p − f, q = sigmoid(m), r = sigmoid(c)입니다. 확률은 Fail = 1 − q, A = q(1 − r), S = qr입니다. 최종 등급은 세 확률의 최대값을 고르는 방식이 아니라 관문 → 조건부 A/S 순서로 정합니다.
모델 하나의 점수를 사용할 수도 있고, 여러 판단부의 관문 점수와 조건부 점수를 각각 평균 낼 수도 있습니다. 고정된 최고 모델은 16개 구성원 교사로 학습한 단일 학생 모델입니다. 추론할 때 교사 16개를 함께 실행하는 구성은 아닙니다.
구성원 i의 mᵢ = pᵢ − fᵢ와 cᵢ를 각각 산술 평균합니다. 평균 점수에 sigmoid를 적용합니다. 이는 최종 등급의 다수결이나 최종 확률 평균과 다릅니다. 단일 모델은 구성원 1개인 경우로 이해하실 수 있습니다. 앙상블을 학생 하나로 옮겨 배우는 증류는 별도의 학습 방법입니다.
관문 점수가 하한 이하이면 Fail, 상한 이상이면 Pass입니다. 그 사이의 곡은 판정을 거부해 제외합니다. Pass인 곡만 조건부 점수로 A와 S를 나눕니다. 거부는 등급을 붙이지 않는 결과이며, 원본 음원을 삭제한다는 뜻은 아닙니다.
lo < hi인 구간에서 m ≤ lo는 Fail, lo < m < hi는 거부, m ≥ hi는 Pass입니다. Pass이면 조건부 c > 0은 S, c ≤ 0은 A입니다. 거부 결과는 grade=null, passed=null입니다. 추론용 모델 패키지는 가중치, 선택한 층과 판정 구간 등의 정보를 보관하며, 서빙 런타임이 이를 읽습니다. 예외적으로 명시된 구간 (0, 0)은 m=0에서 상한 비교가 먼저 적용되어 Pass가 됩니다. 구간을 아예 끈 경우의 m=0 → Fail과 구분해야 합니다.
10초 문맥에서 얻은 MuQ 프레임을 곡 전체의 약 2초 구간으로 평균합니다. 문맥 창을 선택하면 그 창이 담당하는 구간을 확인하실 수 있습니다.
각 메모에는 언제 나온 특징인지 알려 주는 시간 정보가 붙습니다.
파형의 모양은 설명용입니다. 실제 음원이나 실제 모델의 주의 집중 값을 표시한 그림은 아닙니다.
한 구간의 특징을 얻을 때 그 구간이 포함된 10초 소리를 함께 읽습니다.
문맥이 겹쳐도 각 2초 구간은 가장 이른 포함 창에 배정합니다.
짧은 곡은 빈 소리로 채웁니다. 0.5초 미만의 꼬리 메모는 앞 구간에 합칩니다.
23초 예시에서는 0~10초, 10~20초, 13~23초를 읽습니다. 마지막 창에서 새로 남기는 메모는 20~22초와 22~23초입니다.
기본 2초 배치로 계산한 예입니다. 여기에 질문 토큰 3개를 붙입니다. 실제 프레임이 없는 구간의 병합 등으로 최종 개수는 달라질 수 있습니다. 각 메모를 곡 전체와 연결해 읽으므로, 처음부터 끝까지 하나의 단순 평균으로만 압축하지 않습니다.
출력은 (Fail 관문, Pass 관문, S|Pass) 세 점수입니다. 관문 차이와 조건부 점수를 바꾸며 확률 분해와 거부 구간의 경계를 확인하실 수 있습니다. 아래 값은 설명용이며 실제 최고 모델의 구간은 연구 결과 절에 있습니다.
0보다 크면 S, 0 이하이면 A입니다. Fail 또는 거부이면 이 값으로 등급을 정하지 않습니다.
이 체험의 점수와 구간은 원리를 설명하기 위한 가상 값입니다. 실제 연구에서는 모델별 검증 점수로 구간을 선택합니다. 여기서 슬라이더를 바꿔도 모델이나 운영 설정은 바뀌지 않습니다.
관문 점수가 하한과 상한 사이에 있어 판정하지 않습니다.
확률 세 개는 합이 100%가 되지만, 최종 판정은 위의 관문과 거부 규칙을 따릅니다. 거부에도 점수는 존재합니다. 이 확률은 정답률을 보증하지 않습니다.
거부를 끄면 m > 0은 Pass, m ≤ 0은 Fail입니다. Pass 상태에서 조건부 점수 0은 A입니다. 이 체험은 하한이 음수, 상한이 양수인 설명용 구간을 사용합니다.
현재 연구에서는 실제 Pass(A/S) 곡 중 거부된 비율을 최대 70%로 허용합니다. 이는 검증 집합에서 구간을 고를 때의 상한이며, 전체 곡의 거부율이나 새 곡 집합의 거부율을 뜻하지 않습니다. 실제 Pass를 Fail로 판정한 오류와도 구분합니다.
또한 판정한 실제 Pass 곡의 Fail 오판 비율이 거부 없는 0 경계보다 나빠지지 않도록 제한합니다. 그 안에서 Fail→Pass 오류 수, Pass→Fail 오류 수, 거부 수 순으로 최소화합니다. 실제 Fail을 통과시키지 않는 것이 연구의 첫 번째 우선순위입니다.
실제 Fail 곡을 A/S로 판정한 경우입니다. 거부 적용 후 비율은 ‘A/S로 오판한 실제 Fail 수 ÷ 거부되지 않은 실제 Fail 수’입니다.
실제 A/S 곡을 Fail로 판정한 경우입니다. 거부 적용 후 비율은 ‘Fail로 오판한 실제 A/S 수 ÷ 거부되지 않은 실제 A/S 수’입니다. 거부된 곡은 별도로 보고합니다.
평가 보고에서는 거부 없는 전체 곡 기준과 거부 적용 후 판정 곡 기준을 함께 제시합니다. 거부된 곡을 정답으로 센 결과는 아닙니다.
앙상블과 증류는 서로 연결되지만 사용 시점이 다릅니다. 앙상블은 판정할 때 여러 모델을 사용하고, 증류는 학습할 때 교사의 점수를 배웁니다. 고정된 최고 모델은 교사 16개의 관문 확률을 정답과 α=0.5로 섞어 배운 단일 판단부입니다.
여러 판단부가 같은 곡을 읽습니다. 관문 점수와 A/S 조건부 점수를 각각 평균 낸 뒤, 한 번의 판정 규칙을 적용합니다.
관문 평균 · 조건부 평균
↓
거부 구간 → A/S 판정
표시되는 구성원 점수는 가상 예시입니다. 구성원을 늘린다고 성능 향상이 보장되지는 않습니다. 실제 구성원은 검증으로 정하고 다른 집합에서 확인합니다.
앙상블을 교사로 사용해 학습 곡의 관문 점수 16개를 먼저 평균하고, 그 평균에 sigmoid(시그모이드)를 적용해 Pass 확률을 만듭니다. 학생은 이 확률과 정답을 α=0.5로 섞어 배웁니다.
교사는 학습 곡에 대해서만 목표를 제공합니다. 검증·작업용 평가·예비 평가 곡을 학생의 학습 목표로 넣지 않습니다. 현재 증류는 Pass/Fail 관문 목표에 적용하며, A/S는 실제 Pass의 등급으로 학습합니다.
학생 모델을 사용하면 추론 시 교사가 함께 실행될 필요는 없습니다. 학생을 다시 앙상블 구성원으로 사용할 수도 있습니다.
기존 음원과 사람이 붙인 등급을 사용합니다. 학습할 곡, 설정을 고를 곡, 성능을 비교할 곡, 별도로 점검할 곡의 역할을 나눕니다.
음원과 사람의 S/A/Fail 라벨을 준비합니다.
MuQ 특징을 저장하고 집합의 역할을 나눕니다.
통과 여부와 실제 Pass의 A/S를 배웁니다. 교사 점수도 쓸 수 있습니다.
검증으로 후보 목록·층·구성원·거부 구간을 정합니다.
작업용 test로 후보를 승격하고 예비 test로 악화를 점검합니다.
선택 모델과 판정 정보를 묶어 추론 런타임이 읽게 합니다.
특징과 정답 등급을 보면서 판단부의 가중치를 갱신합니다. 증류를 쓸 때도 이 집합의 곡만 교사 목표로 사용합니다.
학습 중 저장된 여러 시점의 가중치, 층 조합, 앙상블 구성원과 거부 구간을 고르는 데 씁니다. 이 곡의 정답으로 가중치를 직접 갱신하지는 않습니다.
검증에서 정한 후보를 같은 곡들에 적용해 Fail→Pass와 Pass→Fail을 비교합니다. 연구 루프는 이 결과로 최고 모델과 파레토 후보를 관리합니다. 반복 비교가 쌓이면 이 집합에 익숙해질 수 있습니다.
현재 연구 세대의 학습과 설정 선택에 쓰지 않은 곡으로 점검합니다. 오류율이 유의하게 나빠지면 분할과 재학습을 검토합니다. 이 점검을 통과했다고 과적합이 없다고 확정할 수는 없습니다.
현재 연구 세대는 학습 / 검증 / 작업용 평가 / 예비 평가를 약 70% / 10% / 10% / 10%로 나눕니다. 연구 세대가 바뀌면 분할도 바뀔 수 있습니다. ‘현재 세대에서 안 쓴 곡’은 프로젝트의 모든 과거 학습에서도 안 썼다는 뜻은 아닙니다. 사용자 평가 원칙은 시험 점수에 맞춰 층·학습 시점·앙상블 구성원·거부 구간을 고른 결과를 성과로 인정하지 않는 것입니다. 작업용 평가를 반복 비교에 쓰는 구현은 별도의 예비 점검과 함께 해석해야 합니다.
고정된 최고 모델은 실제 Fail의 관문 손실을 8배로 가중하며, 실제 Pass 곡에만 A/S 손실을 적용합니다. 교사 16개가 만든 학습 곡의 Pass 확률과 정답을 절반씩 섞습니다. MuQ 가중치는 갱신하지 않습니다.
현재 연구는 Fail→Pass 0을 먼저 지향하면서 Pass→Fail도 줄이는 방향입니다. 모든 곡을 Fail로 내리는 후보를 걸러내고, 여러 오류 사이의 교환관계도 보존해 비교합니다.
실행 설정은 계층 관문 교차 엔트로피 + 조건부 이진 교차 엔트로피이며 rl_weight=0입니다. AdamW, 학습률 1.5×10⁻⁴(최소 10⁻⁶), warmup(초기 학습률 증가) 5%, 코사인 감소, weight decay(가중치 감쇠) 0.03, 배치 256, 누적 1회, 최대 50회 학습과 patience(개선 대기) 12입니다. fail_miss 선택의 Pass 재현율 하한은 0.40입니다. 생성 설정에 남은 maximum_fail_to_pass_rate=0.05는 이 선택 분기에서 적용되지 않으며 목표를 5%로 제한하지 않습니다.
패키지는 추론에 필요한 가중치와 메타데이터를 담습니다. 서빙 코드는 v5 단일·앙상블을 지원합니다. 이 설명은 특정 패키지의 실제 배포 상태를 증명하는 자료는 아닙니다.
관문은 모든 곡의 통과 여부를 배웁니다. A/S 항은 실제 A 또는 S 곡에서만 계산합니다. 실제 Fail의 관문 비용 k_y=8은 사람의 라벨로 정하며, 교사 점수로 바뀌지 않습니다. 학습 빈도에서 구한 외부 클래스 가중치 a_y는 관문과 조건부 항 모두에 적용합니다.
교사는 관문 목표만 부드럽게 만듭니다. 정답 라벨, 실제 Fail 가중치, A/S 정답은 유지됩니다. 학생의 추론은 교사 없이 수행할 수 있습니다. 이 실행에서는 강화학습 항의 가중치가 0입니다.
클래스 가중치: Fail 0.9411, A/S 1.1170 · 빈도 지수 0.25. 추출·저장 FP32(32비트), 판단부 연산 BF16(16비트) 자동 혼합 정밀도, 매개변수 FP32입니다.
근거 수집 시점의 최고 모델을 고정해 설명합니다. 실행 중인 연구가 이후 갱신되어도 아래 기록의 체크포인트·평가 시점·분모는 바뀌지 않습니다.
작업용 test · 거부 적용: 전체 3,019곡 중 1,841곡 판정(60.98%), 1,178곡 거부(39.02%).
| 집합 | 기준 | Fail→Pass | Pass→Fail | 전체 거부 | 전체 실제 Pass 중 통과 |
|---|---|---|---|---|---|
| 작업용 test | 거부 없음 | 91/2,007 4.53% | 418/1,012 41.30% | 0/3,019 0.00% | 594/1,012 58.70% |
| 작업용 test | 거부 적용 · 판정 곡 | 0/1,536 0.00% | 89/305 29.18% | 1,178/3,019 39.02% | 216/1,012 21.34% |
| 예비 test | 거부 없음 | 81/2,007 4.04% | 427/1,012 42.19% | 0/3,019 0.00% | 585/1,012 57.81% |
| 예비 test | 거부 적용 · 판정 곡 | 3/1,495 0.20% | 94/305 30.82% | 1,219/3,019 40.38% | 211/1,012 20.85% |
거부 없음은 관문 경계 0으로 모든 곡을 판정합니다. 거부 적용의 오류율은 거부된 실제 Fail/Pass를 각각 분모에서 뺍니다. 마지막 열은 두 기준 모두 전체 실제 Pass를 분모로 사용합니다.
selection.json은 epoch 20을 고릅니다. 실제 최고 모델은 검증 파레토 후보 목록에 포함된 epoch 50이며, 연구 루프가 작업용 test의 판정 곡 오류 개수로 승격했습니다. 따라서 이 기록을 ‘체크포인트 선택이 전부 검증에서만 끝난 독립 test 성과’로 설명할 수 없습니다. 검증만으로 선택해야 한다는 사용자 원칙과 실제 구현의 차이를 공개합니다. 예비 점검은 구현의 유의 수준 0.01에서 유의한 악화를 검출하지 않아 통과했습니다(Fail→Pass p=0.03950, Pass→Fail p=0.32933). 이는 과적합이 없거나 새 곡 오류가 0이라는 증명은 아닙니다.
| 역할 | 곡 수 | Fail | A | S |
|---|---|---|---|---|
| 학습 | 21,122 | 14,045 | 6,480 | 597 |
| 검증 | 3,019 | 2,007 | 926 | 86 |
| 작업용 test | 3,019 | 2,007 | 926 | 86 |
| 예비 test | 3,019 | 2,007 | 926 | 86 |
수치 대조: 평가 파일·패키지 provenance(출처 기록)·체크포인트의 식별과 분모를 확인하고 오류율을 다시 계산했습니다. 연구 근거 JSON에는 32개 검증 항목, 파일별 SHA-256(파일 내용 식별값), 정확한 평가 시점을 보관했습니다. 실제 backend 배포 여부는 이 패키지 기록만으로 확인되지 않습니다.
쉬운 설명과 원문 근거를 함께 제공합니다. 코드 근거 버튼은 파일의 줄 번호와 수집한 발췌를 표시하므로 이 HTML만 복사해도 근거를 읽으실 수 있습니다.
모델이 읽을 수 있게 바꾼 숫자 표현입니다. 사람이 직접 붙인 ‘리듬 점수’나 ‘멜로디 점수’와 같다고 단정할 수는 없습니다.
학습 중 그 모델의 가중치를 바꾸지 않는다는 뜻입니다. 동결된 MuQ도 서로 다른 음악에는 서로 다른 특징을 만듭니다.
여기서는 주로 약 2초 구간의 특징을 하나의 토큰으로 다룹니다. 질문 토큰은 음악 정보를 모아 읽도록 학습되는 별도 조각입니다.
곡의 여러 구간을 서로 참조해 표현을 바꾸는 모델입니다. 시간 정보가 붙어 있어 메모가 언제 나왔는지도 함께 사용합니다.
A/S를 정하기 전에 Pass와 Fail을 구분하는 첫 단계입니다. Pass 점수에서 Fail 점수를 뺀 값이 관문 점수입니다.
‘이 곡이 Pass라고 가정할 때 S일 확률’이라는 뜻입니다. 이 값을 전체 S 확률로 바로 해석하면 안 됩니다. 전체 S 확률에는 Pass 확률도 곱합니다.
어느 시점의 판단부 가중치를 보관한 것입니다. 가장 나중 시점이 항상 가장 좋지는 않아 검증에서 선택합니다.
한 후보는 Fail→Pass가 더 적고 다른 후보는 Pass→Fail이 더 적으면 둘 다 보존할 수 있습니다. 두 오류를 모두 줄이는 후보가 나오면 우위로 봅니다.
관문 점수가 정해진 애매한 구간 안에 있는 경우입니다. Fail 등급과 별도이며, 원본 파일을 삭제하는 작업이 아닙니다. 거부 곡과 판정 곡을 구분해 성능을 보고합니다.
근거 묶음 내려받기: 백본·가중치 근거 · 학습·평가 근거. 파일 SHA-256은 수집 시점의 내용 식별값이며, 실행 중인 state·ledger 파일은 이후 달라질 수 있습니다.
코드·가중치 수집: 2026-10-08 00:17:00 KST · 연구 기록 수집: 2026-10-08 00:18:26 KST · 커밋 2277622. 원문 발췌는 이 HTML 안에 보관했습니다. 저장소 파일 링크는 상대 경로입니다.
| 설명 범위 | 현재 근거 파일 |
|---|---|
| 최신 연구 목적과 70% 제약 | AGENTS.md §1-1 · 최신 HANDOFF 후반 절 |
| 소리 준비와 시간 배치 | audio.py · bins.py |
| 동결 MuQ와 층별 특징 | features.py · build_cache.py |
| 정규화와 질문 토큰 | model.py · TemporalGradeHead · v4_model.py · 공유 점수 계산부 |
| 현행 계층 판정과 손실 | hierarchical.py · 챔피언 후보 오버라이드 |
| 앙상블과 거부 구간 | v4_choice_ensemble.py · v4_evaluate.py · select_reject_band |
| 학습·검증·평가·패키징 | champion_loop.py · package_champion.py · 증류와 앙상블 연구 기록 |
| 실제 추론 경로 | serving/application/runtime.py · serving/domain/decision.py |
실제 적재 경로, 생성된 실행 설정과 체크포인트를 우선 근거로 삼았습니다. 이름에 v4가 남은 공유 파일도 raina_laya_hierarchical_v5를 처리합니다. 예전 v2 강화학습 설계나 기본 설정의 5%·55%를 현행 연구 목표로 사용하지 않습니다. 수집 이후 바뀐 연구 상태와 이 보고서의 고정된 평가 기록은 구분해 해석해 주십시오.