跳转至

M18 · 权重承接:基座初始化 + whisper 条件

状态 ✅ 完成(2026-08-30)——基座先验兑现,λ=1.0 为项目当前最佳模型
一句话 与 M17 完全同架构同数据,唯一改动:双塔从基座 flow.pt 初始化——检验基座的语音纹理先验能否承接到新条件源上,治 M17 随机臂的"电音"
上游 ← M17 随机臂:内容萌芽(情感端 CER 0.43–0.76)但 MOS 死在 1.25(谱纹理缺失,25h 数据从零学不出)· 用户对"基座会不会锁死在原 codec 条件"的疑虑 → 零步验证
对照 M17 随机臂(唯一变量 = 初始化)· M16

TL;DR

基座初始化兑现 + λ 消融首次出现正向效应。

  • ✅ 基座 vs 随机(同架构同数据同步数):MOS 1.28→1.98、delta 0.481→0.911、 CER 0.801→0.410——电音由纹理先验治愈,与零步验证预测一致
  • 🔍 λ=1.0 全面优于 λ=0.1:delta 0.75→0.91、CER 0.48→0.41、α=5 外推 CER 0.61→0.21; 训练侧剂量响应清晰(L_ortho 0.183→0.099、cos_A_B −0.32→−0.22)—— λ_ortho 在本架构下首次与下游改善同向(此前 M11a/M13/M14 四代零结果;n=1 种子,谨慎读)
  • ⚠️ 两个遗留:中段 α(0.25–0.5)MOS 谷 1.35–1.60;α=0 中立化 CER 仍 1.0–1.24 (乱说复现——M17 §3.1 预注册的 DTW 后备臂触发条件成立)
  • MOS@α=0 轨迹三臂全程单调可比(图 §3),40k 终点仍在上行——未收敛,可续

1 与 M17 的差异(仅此两处;预热方案经用户决定取消,全程联训)

M17(随机臂) M18
DiT_A / DiT_B 初始化 随机重置 基座 flow.pt
spk 线性层 随机 基座 spk_embed_affine_layer 权重

其余全部不变:whisper 条件、均匀 R3 中立目标、x_α 混合、 DDP 8×1、40k 步、每 10k ckpt、10k/20k/30k 中途评测、α 网格 {0,0.25,0.5,0.75,1,1.5,5}。

λ_ortho 消融(用户指定,链式两臂):λ=0.1(outputs/m18/)跑完自动接 λ=1.0(outputs/m18_l10/),其余参数逐项相同——回应"双塔没分很开"的观察 (M17 随机臂 cos_A_B 稳在 −0.34、L_ortho 无下行)。

2 零步验证

基座双塔 + 随机 adapter(一步未训)直接推理两条:

组 音频
0010_text00310/Angry
0002_text00120/Sad

读法:adapter 随机 → 内容必然是糊的;判据只有一条——输出是"语音质感的糊" (谐波、共振峰、呼吸感 → 纹理先验穿透 ✅)还是 M17 随机臂那种电音蜂鸣(❌)。 用户听感判定(2026-08-29):第一条(Angry,2.2s)有点电音;第二条(Sad,5.3s)无电音、质感不错 —— 纹理先验穿透 ✅,验证通过,M18 开训。

3 结果

🎧 M18 音频全量对照(三臂 × 84 + 12 条输入原音频,α 含 5 外推)

3.1 三臂终点主表(P6 12 组 × 7 α)

臂 delta CER 总 MOS MOS@α=0 MOS@α=1 CER@α=1 CER@α=5
M17 随机 0.481 0.801 1.28 1.28 1.33 0.40 0.89
M18 λ=0.1 0.750 0.482 1.90 2.81 2.55 0.14 0.61
M18 λ=1.0 0.911 0.410 1.98 2.77 2.81 0.11 0.21

按 α 分层(λ=1.0):MOS 0:2.77 0.25:1.60 0.5:1.37 0.75:2.00 1:2.81 1.5:2.02 5:1.27; CER 0:1.24 0.25:0.94 0.5:0.20 0.75:0.07 1:0.11 1.5:0.10 5:0.21。

三臂轨迹 训练曲线与 λ 对比

3.2 λ 消融读数

λ=0.1 λ=1.0
L_ortho 末50 0.183 0.099
cos_A_B 末50 −0.324 −0.224
L_A / L_B 末50 0.710 / 1.043 0.715 / 1.067(重建代价 ≈0)
下游 delta / CER 0.750 / 0.482 0.911 / 0.410
α=5 外推 CER 0.61 0.21

首次观察到 λ_ortho 与下游改善同向(尤其外推稳健性 3×)——与 M11a/M13/M14 四代零结果相反。可能的差异来源:本架构的 A=v_A−v_B 是"同条件双网之差"且从零分化, 正则参与了分工的形成而非事后修剪。⚠️ n=1 种子单次对照,结论限"值得重复验证"。

3.3 探针 cos(A, x1_emo−x1_neu)(held-out 300,t=0.1/0.5/0.9 中位)

λ=0.1 λ=1.0 参照:M14 双条件
cos 0.76 / 0.88 / 0.89 0.74 / 0.88 / 0.89 0.90 / 0.93 / 0.95
‖A‖/‖GT‖ 0.75 / 0.90 / 0.89 0.73 / 0.89 / 0.92 0.92–1.02

A 方向已学到真值残差的 ~0.89(两 λ 无差),尚低于 M14 的 0.93。

4 结论

项 结论
基座先验 ✅ 决定性:同配置下随机 vs 基座 = MOS 1.28 vs 1.98——零步验证的预测兑现;音频到音频编辑架构自此可用
λ_ortho 🔍 首次正向(delta +0.16、外推 CER 3× 改善),待重复种子确认;后续默认 λ=1.0
中立化(α=0) ⚠️ MOS 2.8 但 CER ~1.0——"像人话但说不对",与均匀 R3 目标错位假设一致 → DTW 后备臂触发条件成立,待用户决定
中段谷(α 0.25–0.5) ⚠️ 仍在(MOS ~1.4–1.6)——双塔在中段的插值行为待查(x_α 训练分布覆盖了,但输出仍塌)
训练量 40k 终点 MOS 轨迹仍上行——未收敛,值得续

讨论