M18 · 权重承接:基座初始化 + whisper 条件¶
| 状态 | ✅ 完成(2026-08-30)——基座先验兑现,λ=1.0 为项目当前最佳模型 |
| 一句话 | 与 M17 完全同架构同数据,唯一改动:双塔从基座 flow.pt 初始化——检验基座的语音纹理先验能否承接到新条件源上,治 M17 随机臂的"电音" |
| 上游 | ← M17 随机臂:内容萌芽(情感端 CER 0.43–0.76)但 MOS 死在 1.25(谱纹理缺失,25h 数据从零学不出)· 用户对"基座会不会锁死在原 codec 条件"的疑虑 → 零步验证 |
| 对照 | M17 随机臂(唯一变量 = 初始化)· M16 |
TL;DR¶
基座初始化兑现 + λ 消融首次出现正向效应。
- ✅ 基座 vs 随机(同架构同数据同步数):MOS 1.28→1.98、delta 0.481→0.911、 CER 0.801→0.410——电音由纹理先验治愈,与零步验证预测一致
- 🔍 λ=1.0 全面优于 λ=0.1:delta 0.75→0.91、CER 0.48→0.41、α=5 外推 CER 0.61→0.21; 训练侧剂量响应清晰(L_ortho 0.183→0.099、cos_A_B −0.32→−0.22)—— λ_ortho 在本架构下首次与下游改善同向(此前 M11a/M13/M14 四代零结果;n=1 种子,谨慎读)
- ⚠️ 两个遗留:中段 α(0.25–0.5)MOS 谷 1.35–1.60;α=0 中立化 CER 仍 1.0–1.24 (乱说复现——M17 §3.1 预注册的 DTW 后备臂触发条件成立)
- MOS@α=0 轨迹三臂全程单调可比(图 §3),40k 终点仍在上行——未收敛,可续
1 与 M17 的差异(仅此两处;预热方案经用户决定取消,全程联训)¶
| M17(随机臂) | M18 | |
|---|---|---|
| DiT_A / DiT_B 初始化 | 随机重置 | 基座 flow.pt |
| spk 线性层 | 随机 | 基座 spk_embed_affine_layer 权重 |
其余全部不变:whisper 条件、均匀 R3 中立目标、x_α 混合、 DDP 8×1、40k 步、每 10k ckpt、10k/20k/30k 中途评测、α 网格 {0,0.25,0.5,0.75,1,1.5,5}。
λ_ortho 消融(用户指定,链式两臂):λ=0.1(outputs/m18/)跑完自动接
λ=1.0(outputs/m18_l10/),其余参数逐项相同——回应"双塔没分很开"的观察
(M17 随机臂 cos_A_B 稳在 −0.34、L_ortho 无下行)。
2 零步验证¶
基座双塔 + 随机 adapter(一步未训)直接推理两条:
| 组 | 音频 |
|---|---|
0010_text00310/Angry |
|
0002_text00120/Sad |
读法:adapter 随机 → 内容必然是糊的;判据只有一条——输出是"语音质感的糊" (谐波、共振峰、呼吸感 → 纹理先验穿透 ✅)还是 M17 随机臂那种电音蜂鸣(❌)。 用户听感判定(2026-08-29):第一条(Angry,2.2s)有点电音;第二条(Sad,5.3s)无电音、质感不错 —— 纹理先验穿透 ✅,验证通过,M18 开训。
3 结果¶
🎧 M18 音频全量对照(三臂 × 84 + 12 条输入原音频,α 含 5 外推)
3.1 三臂终点主表(P6 12 组 × 7 α)¶
| 臂 | delta | CER 总 | MOS | MOS@α=0 | MOS@α=1 | CER@α=1 | CER@α=5 |
|---|---|---|---|---|---|---|---|
| M17 随机 | 0.481 | 0.801 | 1.28 | 1.28 | 1.33 | 0.40 | 0.89 |
| M18 λ=0.1 | 0.750 | 0.482 | 1.90 | 2.81 | 2.55 | 0.14 | 0.61 |
| M18 λ=1.0 | 0.911 | 0.410 | 1.98 | 2.77 | 2.81 | 0.11 | 0.21 |
按 α 分层(λ=1.0):MOS 0:2.77 0.25:1.60 0.5:1.37 0.75:2.00 1:2.81 1.5:2.02 5:1.27;
CER 0:1.24 0.25:0.94 0.5:0.20 0.75:0.07 1:0.11 1.5:0.10 5:0.21。

3.2 λ 消融读数¶
| λ=0.1 | λ=1.0 | |
|---|---|---|
| L_ortho 末50 | 0.183 | 0.099 |
| cos_A_B 末50 | −0.324 | −0.224 |
| L_A / L_B 末50 | 0.710 / 1.043 | 0.715 / 1.067(重建代价 ≈0) |
| 下游 delta / CER | 0.750 / 0.482 | 0.911 / 0.410 |
| α=5 外推 CER | 0.61 | 0.21 |
首次观察到 λ_ortho 与下游改善同向(尤其外推稳健性 3×)——与 M11a/M13/M14 四代零结果相反。可能的差异来源:本架构的 A=v_A−v_B 是"同条件双网之差"且从零分化, 正则参与了分工的形成而非事后修剪。⚠️ n=1 种子单次对照,结论限"值得重复验证"。
3.3 探针 cos(A, x1_emo−x1_neu)(held-out 300,t=0.1/0.5/0.9 中位)¶
| λ=0.1 | λ=1.0 | 参照:M14 双条件 | |
|---|---|---|---|
| cos | 0.76 / 0.88 / 0.89 | 0.74 / 0.88 / 0.89 | 0.90 / 0.93 / 0.95 |
| ‖A‖/‖GT‖ | 0.75 / 0.90 / 0.89 | 0.73 / 0.89 / 0.92 | 0.92–1.02 |
A 方向已学到真值残差的 ~0.89(两 λ 无差),尚低于 M14 的 0.93。
4 结论¶
| 项 | 结论 |
|---|---|
| 基座先验 | ✅ 决定性:同配置下随机 vs 基座 = MOS 1.28 vs 1.98——零步验证的预测兑现;音频到音频编辑架构自此可用 |
| λ_ortho | 🔍 首次正向(delta +0.16、外推 CER 3× 改善),待重复种子确认;后续默认 λ=1.0 |
| 中立化(α=0) | ⚠️ MOS 2.8 但 CER ~1.0——"像人话但说不对",与均匀 R3 目标错位假设一致 → DTW 后备臂触发条件成立,待用户决定 |
| 中段谷(α 0.25–0.5) | ⚠️ 仍在(MOS ~1.4–1.6)——双塔在中段的插值行为待查(x_α 训练分布覆盖了,但输出仍塌) |
| 训练量 | 40k 终点 MOS 轨迹仍上行——未收敛,值得续 |