M15-E · 中立化支修复:五路探索¶
| 状态 | ✅ 完成(2026-08-29)——五路全部未修复 α=0 端;E5 最优(1.27→2.14);E2 诊断确认任务内在下限 |
| 性质 | M15 的子实验(探索性,结果不占正式实验篇幅),五臂并行 |
| 共同目标 | 修复 M15 的失败点:\(\mathcal{L}_B\) 欠收敛 3×(1.30 vs 0.45)、α=0 端 MOS 1.27、rank_A 塌到 5.4 |
| 共同基线 | M15(残差级联,6 epoch)· M14-λ0(own 双路) |
不变项(除各臂注明外全部沿用 M15 §2):
data/m13_cache 情感骨架侧、残差参数化、x_α 混合训练分布、
全局 batch 8、lr 1e-5、seed 1234、grad_clip 1.0。
输出统一在 outputs/m15x/<臂名>/(训练日志、ckpt、eval/ 84 条评测)。
E1 · M15 架构 + 条件 dropout¶
→ 占位结果文档:e1.md
| 项 | 值 |
|---|---|
| 架构 | 与 M15 完全相同(DiT1→DiT2 残差级联) |
| 训练 | 每样本以 \(p=0.15\) 丢弃参考条件:cond(prompt mel)与 spks 置零,整条级联(DiT1 与 DiT2)都看不到参考;损失不变(\(v_A\!\to\!u_e\)、\(v_B\!\to\!u_n\)) |
| 推理 | 与 M15 完全相同(参考在场) |
| epochs | 20 |
目的:迫使中立化通路不依赖参考条件成形(丢弃时 \(v_B\) 必须凭内容骨架产出中立渲染),
同时对 \(v_A\) 构成 CFG 式正则(基座本就以 training_cfg_rate=0.2 这样训过)。
E2 · 随机重置初始化(诊断臂)¶
→ 占位结果文档:e2.md
| 项 | 值 |
|---|---|
| 初始化 | DiT1 与 DiT2 全部随机重置(手术层保持零初始化) |
| epochs | 20 |
| 主要读数 | loss 曲线:L_A 与 L_B 从随机起点是否仍呈不对称收敛 |
定位为诊断:预期音频不可用(预训练缺失),评测仅存档。 回答的问题:M15 的 L_B 落后是基座初始化把级联困在"v_A 容易"盆地(随机起点下两支应对称), 还是中立化任务本身更难(随机起点下 L_B 仍显著落后)。
E3 · 共享表示 + 双 MLP head¶
→ 占位结果文档:e3.md
| 项 | 值 |
|---|---|
| 改动 | DiT2 的 proj_out(单线性 1024→160)换为两个独立 MLP head(各 1024→1024→SiLU→80,末层零初始化保持残差恒等) |
| epochs | 20 |
| 其余 | 与 M15 完全相同 |
给中立支私有非线性容量。注:现方案的 160 维线性头在数学上已等价于 "共享表示 + 两个线性 head",本臂测的是 head 非线性化的增量。
E4 · 课程式:先中立后全量¶
→ 占位结果文档:e4.md
| 项 | 值 |
|---|---|
| 阶段 1(epoch 1–6) | 损失只有 \(\mathcal{L}_B\)——强制主干先建立中立化通路 |
| 阶段 2(epoch 7–20) | 全量损失 \(\mathcal{L}_A + \mathcal{L}_B + 0.1\,\mathcal{L}_{ortho}\) |
| epochs | 20(6 + 14) |
依据:联训中 \(\mathcal{L}_A\) 几乎免费(\(v_A \approx v \approx\) 基座行为), 共享主干被易任务占据、中立化通路无从形成;阶段 1 消除竞争。 λ_ortho=0.1 按用户指定加入;M11a/M14 的零结果为先验。
E5 · 续训 + 加权中立损失¶
→ 占位结果文档:e5.md
| 项 | 值 |
|---|---|
| 起点 | M15 epoch-6 ckpt 续训(优化器状态未存,AdamW 重启) |
| 损失 | \(\mathcal{L}_A + 3\,\mathcal{L}_B\) |
| epochs | +14(累计 20) |
最小干预臂:直接检验"欠收敛"假设。若加倍预算 + 3× 权重后 \(\mathcal{L}_B\) 仍停在 1.0 以上,则问题定性为任务难度而非预算。
资源分配(8 卡,过夜)¶
统一 20 epoch(≈42,560 步;E5 为累计 20)。全局 batch 8 不变。
| 臂 | 卡 | 配置 | 预计 |
|---|---|---|---|
| E1(级联+dropout,20ep) | 0,1(DDP 2×4) | p_drop 0.15 | ~7h |
| E3(级联 20ep) | 2,3(DDP 2×4) | MLP heads | ~7h |
| E4(级联 20ep) | 4,5(DDP 2×4) | 课程 6+14 | ~7h |
| E2(级联 20ep) | 6(单卡) | 随机重置(诊断,慢无妨) | ~13h |
| E5(级联 +14ep) | 7(单卡) | resume + wb=3 | ~9h |
各臂训完即在空出的卡跑推理(84 条)+ 评测;主力臂约 6–8 小时收齐,E2 诊断臂最迟次日晨。
预计产出(每臂)¶
- 训练:L_A / L_B 曲线(五臂同图 + M15/M14 参照)、A_share / cos_A_B
- 定量:主表五行(同 M15 §4.1 口径,重点 MOS@α=0 与按 α 分列)
- 定性:代表组音频对照(同一组 × 7 α × 五臂 + M15 基线列)
- 探针:对最优臂跑结构 + cos(A,GT) 二合一探针
结果¶
汇总表(P6 held-out,84 条/臂)¶
| 臂 | L_B 末50 | delta | 受控 | 负向 | CER | MOS | MOS@α=0 |
|---|---|---|---|---|---|---|---|
| M15 基线(6ep) | 1.297 | 0.529 | 7/12 | 3 | 0.340 | 2.07 | 1.27 |
| E1 +dropout | 1.039 | 0.424 | 6/12 | 3 | 0.405 | 1.83 | 1.30 |
| E2 随机重置 | 0.974 | 0.305 | 3/12 | 1 | 0.472 | 1.38 | 1.30 |
| E3 MLP 头 | 0.934 | 0.317 | 3/12 | 1 | 0.413 | 2.12 | 1.65 |
| E4 课程 | 0.954 | 0.479 | 6/12 | 3 | 0.351 | 2.03 | 1.47 |
| E5 续训 wb3 | 0.939 | 0.543 | 7/12 | 0 | 0.472 | 2.10 | 2.14 |
(参照线:M14 双条件 L_B≈0.45、可用 MOS@α=0 ≈3.7。各臂详情见 e1–e5。)
训练曲线¶

代表组音频(0002_text00150/Angry,「M15 §4.7 的失败组」)¶
| \(\alpha\) | M15 基线 | E1 | E2 | E3 | E4 | E5 |
|---|---|---|---|---|---|---|
| 0.00 | ||||||
| 0.25 | ||||||
| 0.50 | ||||||
| 0.75 | ||||||
| 1.00 | ||||||
| 1.25 | ||||||
| 1.50 |
E5 探针(最优臂,36 测量 + held-out 300)¶
| M15(6ep) | E5(20ep, wb3) | M14-λ0 参照 | |
|---|---|---|---|
| rank_A | 5.4 | 8.8 | 34.3 |
| cos(A, GT) 中位(t=0.1/0.5/0.9) | 0.71/0.82/0.84 | 0.77/0.88/0.90 | 0.90/0.93/0.95 |
| ‖A‖/‖GT‖ | 0.72–0.87 | 0.79–0.92 | 0.92–1.02 |
结论¶
- 五路干预都没有把 α=0 端修到可用(最好 2.14,可用线 ~3.7)。
- E2 随机重置臂给出关键诊断:随机起点下 L_B(0.974)与基座起点各臂(0.93–1.04)同水平 → L_B≈0.95 的墙是"凭空生成中立版"这一条件生成任务的内在下限, 不是初始化、不是课程、不是 head 容量、也基本不是预算问题 (3× 预算 + 3× 权重的 E5 只把 α=0 从 1.27 推到 2.14,收益递减明显)。
- E5 确立为当前分解器最优配置(负向归零、delta 0.543、cos(A,GT) 升到 0.88–0.90), 若继续本路线应从 E5 ckpt 出发。
- 下一步首选:教师蒸馏——用 M14 双条件中性支的输出当 \(v_B\) 的软目标, 把"生成"变回"回归"(M14 已证明该回归可达 L≈0.45)。次选:收缩控制域到 α∈[0.5,1.5]。
- 工具坑:funasr 按名解析
iic/emotion2vec_plus_large受网络/并发影响会 落到"未注册"错误;用E2V_MODEL=<本地路径>绕过(本轮三臂评测因此重跑)。