跳转至

M13 · R3 重建 + 双路 λ 平行扫描

状态 ✅ 完成(2026-08-27)
一句话 变速方法换成 Rubber Band R3(听感 + CER 双过关)重建训练目标;在完整双路(自有 token)配置下平行训练 λ_ortho ∈ {0, 0.1, 0.5, 1.0}
上游 ← M12(相位声码器被听感否决;R3 冒烟 CER 0.0051 低于原始)· M11a(共享 token 下 λ 与情感无关)
对照 M12b(PV 目标,λ=0)· v4 基线

TL;DR

H1' 通过 / H2' 通过 / H3' 零结果(复现 M11a)。R3 把质量线拉回 v4 水平。

  • ✅ H1':F1 vs E1(同推理,只换 PV→R3):MOS@α=0 3.35→3.57(过 3.5 预注册线), delta 0.308→0.495、整体 MOS 2.93→3.04(超 v4 的 2.95);CER/SECS 基本持平(+0.004/−0.007)
  • ✅ H2':F2 vs E3n(双路,只换 PV→R3):CER 0.112→0.098、MOS 2.61→2.73、MOS@α=0 3.55→3.59,全面小幅受益
  • ⚪ H3':λ∈{0,0.1,0.5,1.0} 训练侧剂量响应清晰(L_ortho 0.175→0.116 单调), 下游配对检验全部 <2σ(λ=0.1 的 +0.170 也只有 1.61σ)—— 「λ 与情感可控性无关」在双路的、A 携带节奏信息的配置下第三次成立,P4 证据链补完
  • 🏆 当前最优臂 F5(λ=1.0):MOS@α=0 3.71 ≈ v4 的 3.74、CER 0.097(双路最低)、 受控 8/12、负向 0 —— 但按预注册这与 λ 无关,视作与 F2–F4 同层的抽样波动
  • 探针:情感专一性 gap 仍为负(−0.030/−0.042),第四次确认 F6
  • 规模:R3 缓存 21,301 条(断言失败 0)· 五臂各 10,640 步 · 评测 420 wav · 探针 2×36

1 动机

1.1 为什么换 R3

M12 §4 的三方法对照:

方法 token 精确 CER(原始 0.0066) 听感
librosa 相位声码器(M12 用的) 50/50 0.0137 ❌ 发虚
直接缩放(重采样) — — ❌ 变调
Rubber Band R3 50/50 0.0051 ✅ 用户过关

且 M12 §5.3 证明本模型对 TSM 伪影极其敏感 (推理条件端一条 TSM prompt 就让 MOS@α=0 从 3.35 崩到 1.36)—— 训练目标端换干净的 mel,同一敏感性应转化为收益。

1.2 为什么 λ 扫描要重做

M11a 的「λ 与情感无关」是在共享 token(M10 配置)下得出的,那里 A 只含 「同一骨架下的谱形差」。双路后 A 还包含token 差异(节奏/时长的情感成分), A_share 0.038 → 0.079,cos_A_B −0.221 → −0.290。λ_ortho 第一次作用在一个 真正携带节奏信息的 A 上 —— 这是与 M11a 的实质差异,也是唯一值得重测的理由。

预期仍以 M11a 为先验(大概率还是无关),但若双路下 λ 出现效应, 对 Paper Audit P4 是重大修正;若仍无效,P4 的证据链补上最后一环 (「换了 A 的定义域也无效」)。

2 设计

2.1 数据重建(R3)

build_cache_m12.py 的 tsm_to() 换为 pylibrb R3(ENGINE_FINER, PROCESS_OFFLINE, pitch_scale=1.0),其余一字不动:同 prefix_map、同 max_dev=0.40、同断言 (token 数 == N_e、mel == 2N_e,违例即剔)。输出 data/m13_cache/。

预期规模同 M12:≈21,300 条(说话人 0012–0014 的 raw wav 缺失问题不变)。 16 进程约 15 分钟(R3 比 PV 慢 3–5×,约 40–60 分钟,以实测为准)。

2.2 训练:五个平行臂(卡 0–4)

臂 token_mode λ_ortho 目的
M13s shared 0 E1 通道的 R3 对照(vs M12a:只换 PV→R3,量 H1 收益)
M13-λ0 own 0 双路 R3 基线(vs M12b:只换 PV→R3;同时是 λ 扫描的零点)
M13-λ0.1 own 0.1 用户指定
M13-λ0.5 own 0.5 用户指定
M13-λ1.0 own 1.0 用户指定

其余全部与 M12 相同:起点 v4_epoch5.pt、epochs 5、batch 8、lr 1e-5、seed 1234、 共享 \(t\) 与生成段噪声。五臂并行,约 2 小时。

λ=0 两臂不是冗余

M13s/M13-λ0 与 M12a/M12b 各构成「只换变速方法」的最小对:没有它们, R3 的收益和 λ 的效应就混在一起分不开。用户指定的 {0.1, 0.5, 1.0} 加上 λ0 零点构成四点剂量曲线(M11a 在共享 token 下的四点是 {0, 0.01, 0.1, 0.5, 2.0}, 本次砍掉已证无感的 0.01、封顶降到 1.0——双路 A 更大,等效剂量更高)。

2.3 推理与评测(八臂,卡 0–7)

评测臂 ckpt 推理
F1 M13s 旧推理(= E1 配置,自然 prompt)
F2 M13-λ0 双 LLM + token 重采样 + 自然 prompt(= E3n,M12 的 H3 优胜)
F3 M13-λ0.1 同 F2
F4 M13-λ0.5 同 F2
F5 M13-λ1.0 同 F2

(E3n 已定为双路默认,本轮不再重复 E4/E5 的 resize 对比。) 同 P6 held-out 中文、12 组 × 7 α、eval_suite 原口径、84 条/臂。 另:M5 探针跑 M13-λ0 与 M13-λ1.0 两个 ckpt(有效秩 / A_share / 情感专一性 gap)。

2.4 判据(跑前锁定)

假设 比较 通过条件
H1' R3 修复训练目标 F1 vs E1(M12a+PV,同推理) MOS@α=0 3.35 → ≥3.5;CER/SECS 不退
H2' R3 惠及双路 F2 vs E3n MOS@α=0 3.55 →更高;CER 0.112 →更低
H3' λ 在双路下是否有效应 F2–F5 四点 训练侧 L_ortho 剂量响应(≥M11a 幅度)+下游 delta/受控数出现 >2σ 组间差才算「有效应」

⚠️ 口径警告继续生效(G1):delta 近二值, H3' 的下游读数以「受控数、负向数、MOS@α=0、CER」为主,逐组配对看。

预注册预期:H3' 大概率复现 M11a 的零结果。若如此,其价值是把 P4 的证据链 补完(「共享 token 无效 + 换成真 A 后仍无效」);不据此翻案。

3 已知不确定点

  1. R3 的 mel 分布与 PV 不同(更干净),但仍非真实录音——「合成目标税」 剩多少,看 F1 的 MOS@α=0 与 v4 的 3.74 之差
  2. λ=1.0 的 L_FM 抬升:按 M11a 外推约 +0.04~0.07(双路 A 更大,可能更高); 若 F5 的 CER 明显劣化,λ 曲线上限就是它自己的证据
  3. 双路下 L_ortho 的语义:A 现在含 token 差异,正交惩罚可能压制的是 节奏信息而非谱形——探针的帧间一致性/有效秩负责回答
  4. R3 比 PV 慢 3–5×,缓存重建时间以实测为准
  5. 训练集仍是 17 说话人(0012–0014 缺 raw wav),与 v4/M10 的对比继续带此混淆

4 资源与产出

  • 缓存:16 进程 × 8 卡,约 40–60 分钟 → data/m13_cache/
  • 训练:5 臂 × 卡 0–4,约 2 小时(10,640 步/臂)
  • 评测:5 臂推理 + eval,约 1 小时;探针 2 ckpt 约 40 分钟
  • 产出:总表(v4 / E1 / E3n / F1–F5)、λ 剂量曲线(训练侧 + 下游)、 探针对照表、音频页(F 臂 × 12 组 × 7 α)、§5/§6 结果结论

起点混淆(2026-08-28 用户指出)——影响本页所有「vs v4」的行

本页(及 M10/M11a/M12)的全部训练臂都从 v4_epoch5.pt 继续训,而非从基座重训。 组内对照(PV↔R3、λ 扫描)不受影响;但「F1 的 MOS 3.04 超 v4」这类行实为 v4 vs v4+再训 10,640 步,混入了额外训练量;探针结论也带着 v4 的权重印记。 从基座重训的修正实验见 M14。

5 结果

🎧 M13 音频全量对照(7 臂 × 588 条,F2–F5 间唯一变量是 λ)

5.1 总表(P6 held-out 中文,84 条/臂)

臂 训练 推理 delta 受控 负向 CER SECS MOS MOS@α=0
v4 — 旧 0.454 6/12 1 0.043 0.724 2.95 3.74
E1 M12a(PV) 旧 0.308 5/12 2 0.046 0.705 2.93 3.35
F1 M13s(R3) 旧 0.495 6/12 1 0.050 0.698 3.04 3.57
E3n M12b(PV) 双路+token重采 0.586 7/12 0 0.112 0.567 2.61 3.55
F2 λ=0(R3) 同上 0.572 7/12 0 0.098 0.580 2.73 3.59
F3 λ=0.1 同上 0.742 9/12 0 0.115 0.594 2.69 3.59
F4 λ=0.5 同上 0.537 6/12 0 0.103 0.576 2.77 3.62
F5 λ=1.0 同上 0.655 8/12 0 0.097 0.583 2.80 3.71

5.2 H1'/H2':R3 的收益是实的

  • F1 vs E1(唯一变量 PV→R3):MOS@α=0 +0.22(过 3.5 线)、delta +0.19、整体 MOS +0.11 (3.04,超过 v4 的 2.95)。CER +0.004、SECS −0.007,判为持平。H1' 通过
  • F2 vs E3n(双路同款对比):CER −0.014、MOS +0.12、SECS +0.013、MOS@α=0 +0.04。H2' 通过
  • DTW→PV→R3 三代训练目标的 MOS@α=0 轨迹:3.17 → 3.35 → 3.57(v4 = 3.74)—— 「合成目标税」逐代回收,剩余 0.17

5.3 H3':λ 在双路下仍与情感无关

训练侧剂量响应清晰(L_ortho 末 50 均值):

λ 0 0.1 0.5 1.0
L_ortho 0.1753 0.1680 0.1414 0.1158
cos_A_B −0.358 −0.350 −0.317 −0.284
L_FM 0.9162 0.9369 0.9191 0.9514
A_share 0.0925 0.0916 0.0892 0.0863

下游配对检验全部 <2σ(各臂 vs λ=0,n=12 组逐组配对):

λ=0.1 λ=0.5 λ=1.0
Δdelta 均值 ± SE +0.170 ± 0.105 −0.034 ± 0.047 +0.083 ± 0.085
显著性 1.61σ 0.73σ 0.98σ

λ=0.1 的受控 9/12(历史最高)与 λ=1.0 的 8/12 不构成剂量曲线(0.5 反而 6/12), 按预注册判据:H3' 零结果。这是 λ 无效应的第三次、也是最强的一次证明—— 共享 token(M11a)→ 修正 A 定义(M10)→ 双路真 A(本轮),三种配置下全部无效。 Paper Audit P4 证据链就此补完。

一个不据此下结论的观察:MOS@α=0 随 λ 缓升(3.59→3.71)、F5 综合最好—— 幅度都在抽样噪声内,若要当真需重复种子验证(未排期)。

5.4 探针(36 测量/ckpt)

ckpt rank_A ‖A‖/‖v_emo‖ 帧间 cos_A 专一性 gap
m10_lam0(DTW+共享) 30.76 0.126 0.231 −0.012
m13_l0(R3+双路) 34.44 0.066 0.235 −0.030
m13_l10(λ=1.0) 32.80 0.069 0.241 −0.042

情感专一性 gap 在 R3 双路配置下依旧为负——F6 第四次确认; λ=1.0 甚至更负。A 的方向仍由句子主导。

6 结论

项 结论
H1' ✅ 通过。R3 把共享 token 通道的 MOS@α=0 拉到 3.57(预注册线 3.5),整体 MOS 3.04 超 v4
H2' ✅ 通过。双路全指标小幅受益,CER 降到 0.098
H3' ⚪ 零结果。训练侧剂量响应清晰、下游全部 <2σ——λ 无效应在第三种配置下复现,P4 闭环
变速方法定论 Rubber Band R3 为默认,PV/WSOLA/直接缩放全部退役
当前推荐配置 质量优先:F1(R3 共享 token + 旧推理,MOS 3.04);双路完整性优先:F2 或 F5(差异在噪声内,F2 少一个正则项更简单)
遗留 ① 双路 CER(0.10 vs 共享 0.05)仍未归因(token 重采样分布差是首要怀疑)② MOS@α=0 距 v4 还差 0.17 ③ F3/F5 的受控数波动若要当真需重复种子

讨论