跳转至

M15-E · 中立化支修复:五路探索

状态 ✅ 完成(2026-08-29)——五路全部未修复 α=0 端;E5 最优(1.27→2.14);E2 诊断确认任务内在下限
性质 M15 的子实验(探索性,结果不占正式实验篇幅),五臂并行
共同目标 修复 M15 的失败点:\(\mathcal{L}_B\) 欠收敛 3×(1.30 vs 0.45)、α=0 端 MOS 1.27、rank_A 塌到 5.4
共同基线 M15(残差级联,6 epoch)· M14-λ0(own 双路)

不变项(除各臂注明外全部沿用 M15 §2): data/m13_cache 情感骨架侧、残差参数化、x_α 混合训练分布、 全局 batch 8、lr 1e-5、seed 1234、grad_clip 1.0。 输出统一在 outputs/m15x/<臂名>/(训练日志、ckpt、eval/ 84 条评测)。


E1 · M15 架构 + 条件 dropout

→ 占位结果文档:e1.md

项 值
架构 与 M15 完全相同(DiT1→DiT2 残差级联)
训练 每样本以 \(p=0.15\) 丢弃参考条件:cond(prompt mel)与 spks 置零,整条级联(DiT1 与 DiT2)都看不到参考;损失不变(\(v_A\!\to\!u_e\)、\(v_B\!\to\!u_n\))
推理 与 M15 完全相同(参考在场)
epochs 20

目的:迫使中立化通路不依赖参考条件成形(丢弃时 \(v_B\) 必须凭内容骨架产出中立渲染), 同时对 \(v_A\) 构成 CFG 式正则(基座本就以 training_cfg_rate=0.2 这样训过)。

E2 · 随机重置初始化(诊断臂)

→ 占位结果文档:e2.md

项 值
初始化 DiT1 与 DiT2 全部随机重置(手术层保持零初始化)
epochs 20
主要读数 loss 曲线:L_A 与 L_B 从随机起点是否仍呈不对称收敛

定位为诊断:预期音频不可用(预训练缺失),评测仅存档。 回答的问题:M15 的 L_B 落后是基座初始化把级联困在"v_A 容易"盆地(随机起点下两支应对称), 还是中立化任务本身更难(随机起点下 L_B 仍显著落后)。

E3 · 共享表示 + 双 MLP head

→ 占位结果文档:e3.md

项 值
改动 DiT2 的 proj_out(单线性 1024→160)换为两个独立 MLP head(各 1024→1024→SiLU→80,末层零初始化保持残差恒等)
epochs 20
其余 与 M15 完全相同

给中立支私有非线性容量。注:现方案的 160 维线性头在数学上已等价于 "共享表示 + 两个线性 head",本臂测的是 head 非线性化的增量。

E4 · 课程式:先中立后全量

→ 占位结果文档:e4.md

项 值
阶段 1(epoch 1–6) 损失只有 \(\mathcal{L}_B\)——强制主干先建立中立化通路
阶段 2(epoch 7–20) 全量损失 \(\mathcal{L}_A + \mathcal{L}_B + 0.1\,\mathcal{L}_{ortho}\)
epochs 20(6 + 14)

依据:联训中 \(\mathcal{L}_A\) 几乎免费(\(v_A \approx v \approx\) 基座行为), 共享主干被易任务占据、中立化通路无从形成;阶段 1 消除竞争。 λ_ortho=0.1 按用户指定加入;M11a/M14 的零结果为先验。

E5 · 续训 + 加权中立损失

→ 占位结果文档:e5.md

项 值
起点 M15 epoch-6 ckpt 续训(优化器状态未存,AdamW 重启)
损失 \(\mathcal{L}_A + 3\,\mathcal{L}_B\)
epochs +14(累计 20)

最小干预臂:直接检验"欠收敛"假设。若加倍预算 + 3× 权重后 \(\mathcal{L}_B\) 仍停在 1.0 以上,则问题定性为任务难度而非预算。


资源分配(8 卡,过夜)

统一 20 epoch(≈42,560 步;E5 为累计 20)。全局 batch 8 不变。

臂 卡 配置 预计
E1(级联+dropout,20ep) 0,1(DDP 2×4) p_drop 0.15 ~7h
E3(级联 20ep) 2,3(DDP 2×4) MLP heads ~7h
E4(级联 20ep) 4,5(DDP 2×4) 课程 6+14 ~7h
E2(级联 20ep) 6(单卡) 随机重置(诊断,慢无妨) ~13h
E5(级联 +14ep) 7(单卡) resume + wb=3 ~9h

各臂训完即在空出的卡跑推理(84 条)+ 评测;主力臂约 6–8 小时收齐,E2 诊断臂最迟次日晨。

预计产出(每臂)

  • 训练:L_A / L_B 曲线(五臂同图 + M15/M14 参照)、A_share / cos_A_B
  • 定量:主表五行(同 M15 §4.1 口径,重点 MOS@α=0 与按 α 分列)
  • 定性:代表组音频对照(同一组 × 7 α × 五臂 + M15 基线列)
  • 探针:对最优臂跑结构 + cos(A,GT) 二合一探针

结果

汇总表(P6 held-out,84 条/臂)

臂 L_B 末50 delta 受控 负向 CER MOS MOS@α=0
M15 基线(6ep) 1.297 0.529 7/12 3 0.340 2.07 1.27
E1 +dropout 1.039 0.424 6/12 3 0.405 1.83 1.30
E2 随机重置 0.974 0.305 3/12 1 0.472 1.38 1.30
E3 MLP 头 0.934 0.317 3/12 1 0.413 2.12 1.65
E4 课程 0.954 0.479 6/12 3 0.351 2.03 1.47
E5 续训 wb3 0.939 0.543 7/12 0 0.472 2.10 2.14

(参照线:M14 双条件 L_B≈0.45、可用 MOS@α=0 ≈3.7。各臂详情见 e1–e5。)

训练曲线

五臂 L_B/L_A

代表组音频(0002_text00150/Angry,「M15 §4.7 的失败组」)

\(\alpha\) M15 基线 E1 E2 E3 E4 E5
0.00
0.25
0.50
0.75
1.00
1.25
1.50

E5 探针(最优臂,36 测量 + held-out 300)

M15(6ep) E5(20ep, wb3) M14-λ0 参照
rank_A 5.4 8.8 34.3
cos(A, GT) 中位(t=0.1/0.5/0.9) 0.71/0.82/0.84 0.77/0.88/0.90 0.90/0.93/0.95
‖A‖/‖GT‖ 0.72–0.87 0.79–0.92 0.92–1.02

结论

  1. 五路干预都没有把 α=0 端修到可用(最好 2.14,可用线 ~3.7)。
  2. E2 随机重置臂给出关键诊断:随机起点下 L_B(0.974)与基座起点各臂(0.93–1.04)同水平 → L_B≈0.95 的墙是"凭空生成中立版"这一条件生成任务的内在下限, 不是初始化、不是课程、不是 head 容量、也基本不是预算问题 (3× 预算 + 3× 权重的 E5 只把 α=0 从 1.27 推到 2.14,收益递减明显)。
  3. E5 确立为当前分解器最优配置(负向归零、delta 0.543、cos(A,GT) 升到 0.88–0.90), 若继续本路线应从 E5 ckpt 出发。
  4. 下一步首选:教师蒸馏——用 M14 双条件中性支的输出当 \(v_B\) 的软目标, 把"生成"变回"回归"(M14 已证明该回归可达 L≈0.45)。次选:收缩控制域到 α∈[0.5,1.5]。
  5. 工具坑:funasr 按名解析 iic/emotion2vec_plus_large 受网络/并发影响会 落到"未注册"错误;用 E2V_MODEL=<本地路径> 绕过(本轮三臂评测因此重跑)。

讨论