M13 · R3 重建 + 双路 λ 平行扫描¶
| 状态 | ✅ 完成(2026-08-27) |
| 一句话 | 变速方法换成 Rubber Band R3(听感 + CER 双过关)重建训练目标;在完整双路(自有 token)配置下平行训练 λ_ortho ∈ {0, 0.1, 0.5, 1.0} |
| 上游 | ← M12(相位声码器被听感否决;R3 冒烟 CER 0.0051 低于原始)· M11a(共享 token 下 λ 与情感无关) |
| 对照 | M12b(PV 目标,λ=0)· v4 基线 |
TL;DR¶
H1' 通过 / H2' 通过 / H3' 零结果(复现 M11a)。R3 把质量线拉回 v4 水平。
- ✅ H1':F1 vs E1(同推理,只换 PV→R3):MOS@α=0 3.35→3.57(过 3.5 预注册线), delta 0.308→0.495、整体 MOS 2.93→3.04(超 v4 的 2.95);CER/SECS 基本持平(+0.004/−0.007)
- ✅ H2':F2 vs E3n(双路,只换 PV→R3):CER 0.112→0.098、MOS 2.61→2.73、MOS@α=0 3.55→3.59,全面小幅受益
- ⚪ H3':λ∈{0,0.1,0.5,1.0} 训练侧剂量响应清晰(
L_ortho0.175→0.116 单调), 下游配对检验全部 <2σ(λ=0.1 的 +0.170 也只有 1.61σ)—— 「λ 与情感可控性无关」在双路的、A 携带节奏信息的配置下第三次成立,P4 证据链补完 - 🏆 当前最优臂 F5(λ=1.0):MOS@α=0 3.71 ≈ v4 的 3.74、CER 0.097(双路最低)、 受控 8/12、负向 0 —— 但按预注册这与 λ 无关,视作与 F2–F4 同层的抽样波动
- 探针:情感专一性 gap 仍为负(−0.030/−0.042),第四次确认 F6
- 规模:R3 缓存 21,301 条(断言失败 0)· 五臂各 10,640 步 · 评测 420 wav · 探针 2×36
1 动机¶
1.1 为什么换 R3¶
M12 §4 的三方法对照:
| 方法 | token 精确 | CER(原始 0.0066) | 听感 |
|---|---|---|---|
| librosa 相位声码器(M12 用的) | 50/50 | 0.0137 | ❌ 发虚 |
| 直接缩放(重采样) | — | — | ❌ 变调 |
| Rubber Band R3 | 50/50 | 0.0051 | ✅ 用户过关 |
且 M12 §5.3 证明本模型对 TSM 伪影极其敏感 (推理条件端一条 TSM prompt 就让 MOS@α=0 从 3.35 崩到 1.36)—— 训练目标端换干净的 mel,同一敏感性应转化为收益。
1.2 为什么 λ 扫描要重做¶
M11a 的「λ 与情感无关」是在共享 token(M10 配置)下得出的,那里 A 只含
「同一骨架下的谱形差」。双路后 A 还包含token 差异(节奏/时长的情感成分),
A_share 0.038 → 0.079,cos_A_B −0.221 → −0.290。λ_ortho 第一次作用在一个
真正携带节奏信息的 A 上 —— 这是与 M11a 的实质差异,也是唯一值得重测的理由。
预期仍以 M11a 为先验(大概率还是无关),但若双路下 λ 出现效应, 对 Paper Audit P4 是重大修正;若仍无效,P4 的证据链补上最后一环 (「换了 A 的定义域也无效」)。
2 设计¶
2.1 数据重建(R3)¶
build_cache_m12.py 的 tsm_to() 换为 pylibrb R3(ENGINE_FINER, PROCESS_OFFLINE,
pitch_scale=1.0),其余一字不动:同 prefix_map、同 max_dev=0.40、同断言
(token 数 == N_e、mel == 2N_e,违例即剔)。输出 data/m13_cache/。
预期规模同 M12:≈21,300 条(说话人 0012–0014 的 raw wav 缺失问题不变)。 16 进程约 15 分钟(R3 比 PV 慢 3–5×,约 40–60 分钟,以实测为准)。
2.2 训练:五个平行臂(卡 0–4)¶
| 臂 | token_mode | λ_ortho | 目的 |
|---|---|---|---|
| M13s | shared | 0 | E1 通道的 R3 对照(vs M12a:只换 PV→R3,量 H1 收益) |
| M13-λ0 | own | 0 | 双路 R3 基线(vs M12b:只换 PV→R3;同时是 λ 扫描的零点) |
| M13-λ0.1 | own | 0.1 | 用户指定 |
| M13-λ0.5 | own | 0.5 | 用户指定 |
| M13-λ1.0 | own | 1.0 | 用户指定 |
其余全部与 M12 相同:起点 v4_epoch5.pt、epochs 5、batch 8、lr 1e-5、seed 1234、
共享 \(t\) 与生成段噪声。五臂并行,约 2 小时。
λ=0 两臂不是冗余
M13s/M13-λ0 与 M12a/M12b 各构成「只换变速方法」的最小对:没有它们, R3 的收益和 λ 的效应就混在一起分不开。用户指定的 {0.1, 0.5, 1.0} 加上 λ0 零点构成四点剂量曲线(M11a 在共享 token 下的四点是 {0, 0.01, 0.1, 0.5, 2.0}, 本次砍掉已证无感的 0.01、封顶降到 1.0——双路 A 更大,等效剂量更高)。
2.3 推理与评测(八臂,卡 0–7)¶
| 评测臂 | ckpt | 推理 |
|---|---|---|
| F1 | M13s | 旧推理(= E1 配置,自然 prompt) |
| F2 | M13-λ0 | 双 LLM + token 重采样 + 自然 prompt(= E3n,M12 的 H3 优胜) |
| F3 | M13-λ0.1 | 同 F2 |
| F4 | M13-λ0.5 | 同 F2 |
| F5 | M13-λ1.0 | 同 F2 |
(E3n 已定为双路默认,本轮不再重复 E4/E5 的 resize 对比。) 同 P6 held-out 中文、12 组 × 7 α、eval_suite 原口径、84 条/臂。 另:M5 探针跑 M13-λ0 与 M13-λ1.0 两个 ckpt(有效秩 / A_share / 情感专一性 gap)。
2.4 判据(跑前锁定)¶
| 假设 | 比较 | 通过条件 |
|---|---|---|
| H1' R3 修复训练目标 | F1 vs E1(M12a+PV,同推理) | MOS@α=0 3.35 → ≥3.5;CER/SECS 不退 |
| H2' R3 惠及双路 | F2 vs E3n | MOS@α=0 3.55 →更高;CER 0.112 →更低 |
| H3' λ 在双路下是否有效应 | F2–F5 四点 | 训练侧 L_ortho 剂量响应(≥M11a 幅度)+下游 delta/受控数出现 >2σ 组间差才算「有效应」 |
⚠️ 口径警告继续生效(G1):delta 近二值, H3' 的下游读数以「受控数、负向数、MOS@α=0、CER」为主,逐组配对看。
预注册预期:H3' 大概率复现 M11a 的零结果。若如此,其价值是把 P4 的证据链 补完(「共享 token 无效 + 换成真 A 后仍无效」);不据此翻案。
3 已知不确定点¶
- R3 的 mel 分布与 PV 不同(更干净),但仍非真实录音——「合成目标税」 剩多少,看 F1 的 MOS@α=0 与 v4 的 3.74 之差
- λ=1.0 的 L_FM 抬升:按 M11a 外推约 +0.04~0.07(双路 A 更大,可能更高); 若 F5 的 CER 明显劣化,λ 曲线上限就是它自己的证据
- 双路下 L_ortho 的语义:A 现在含 token 差异,正交惩罚可能压制的是 节奏信息而非谱形——探针的帧间一致性/有效秩负责回答
- R3 比 PV 慢 3–5×,缓存重建时间以实测为准
- 训练集仍是 17 说话人(0012–0014 缺 raw wav),与 v4/M10 的对比继续带此混淆
4 资源与产出¶
- 缓存:16 进程 × 8 卡,约 40–60 分钟 →
data/m13_cache/ - 训练:5 臂 × 卡 0–4,约 2 小时(10,640 步/臂)
- 评测:5 臂推理 + eval,约 1 小时;探针 2 ckpt 约 40 分钟
- 产出:总表(v4 / E1 / E3n / F1–F5)、λ 剂量曲线(训练侧 + 下游)、 探针对照表、音频页(F 臂 × 12 组 × 7 α)、§5/§6 结果结论
起点混淆(2026-08-28 用户指出)——影响本页所有「vs v4」的行
本页(及 M10/M11a/M12)的全部训练臂都从 v4_epoch5.pt 继续训,而非从基座重训。
组内对照(PV↔R3、λ 扫描)不受影响;但「F1 的 MOS 3.04 超 v4」这类行实为
v4 vs v4+再训 10,640 步,混入了额外训练量;探针结论也带着 v4 的权重印记。
从基座重训的修正实验见 M14。
5 结果¶
🎧 M13 音频全量对照(7 臂 × 588 条,F2–F5 间唯一变量是 λ)
5.1 总表(P6 held-out 中文,84 条/臂)¶
| 臂 | 训练 | 推理 | delta | 受控 | 负向 | CER | SECS | MOS | MOS@α=0 |
|---|---|---|---|---|---|---|---|---|---|
| v4 | — | 旧 | 0.454 | 6/12 | 1 | 0.043 | 0.724 | 2.95 | 3.74 |
| E1 | M12a(PV) | 旧 | 0.308 | 5/12 | 2 | 0.046 | 0.705 | 2.93 | 3.35 |
| F1 | M13s(R3) | 旧 | 0.495 | 6/12 | 1 | 0.050 | 0.698 | 3.04 | 3.57 |
| E3n | M12b(PV) | 双路+token重采 | 0.586 | 7/12 | 0 | 0.112 | 0.567 | 2.61 | 3.55 |
| F2 | λ=0(R3) | 同上 | 0.572 | 7/12 | 0 | 0.098 | 0.580 | 2.73 | 3.59 |
| F3 | λ=0.1 | 同上 | 0.742 | 9/12 | 0 | 0.115 | 0.594 | 2.69 | 3.59 |
| F4 | λ=0.5 | 同上 | 0.537 | 6/12 | 0 | 0.103 | 0.576 | 2.77 | 3.62 |
| F5 | λ=1.0 | 同上 | 0.655 | 8/12 | 0 | 0.097 | 0.583 | 2.80 | 3.71 |
5.2 H1'/H2':R3 的收益是实的¶
- F1 vs E1(唯一变量 PV→R3):MOS@α=0 +0.22(过 3.5 线)、delta +0.19、整体 MOS +0.11 (3.04,超过 v4 的 2.95)。CER +0.004、SECS −0.007,判为持平。H1' 通过
- F2 vs E3n(双路同款对比):CER −0.014、MOS +0.12、SECS +0.013、MOS@α=0 +0.04。H2' 通过
- DTW→PV→R3 三代训练目标的 MOS@α=0 轨迹:3.17 → 3.35 → 3.57(v4 = 3.74)—— 「合成目标税」逐代回收,剩余 0.17
5.3 H3':λ 在双路下仍与情感无关¶
训练侧剂量响应清晰(L_ortho 末 50 均值):
| λ | 0 | 0.1 | 0.5 | 1.0 |
|---|---|---|---|---|
L_ortho |
0.1753 | 0.1680 | 0.1414 | 0.1158 |
cos_A_B |
−0.358 | −0.350 | −0.317 | −0.284 |
L_FM |
0.9162 | 0.9369 | 0.9191 | 0.9514 |
A_share |
0.0925 | 0.0916 | 0.0892 | 0.0863 |
下游配对检验全部 <2σ(各臂 vs λ=0,n=12 组逐组配对):
| λ=0.1 | λ=0.5 | λ=1.0 | |
|---|---|---|---|
| Δdelta 均值 ± SE | +0.170 ± 0.105 | −0.034 ± 0.047 | +0.083 ± 0.085 |
| 显著性 | 1.61σ | 0.73σ | 0.98σ |
λ=0.1 的受控 9/12(历史最高)与 λ=1.0 的 8/12 不构成剂量曲线(0.5 反而 6/12), 按预注册判据:H3' 零结果。这是 λ 无效应的第三次、也是最强的一次证明—— 共享 token(M11a)→ 修正 A 定义(M10)→ 双路真 A(本轮),三种配置下全部无效。 Paper Audit P4 证据链就此补完。
一个不据此下结论的观察:MOS@α=0 随 λ 缓升(3.59→3.71)、F5 综合最好—— 幅度都在抽样噪声内,若要当真需重复种子验证(未排期)。
5.4 探针(36 测量/ckpt)¶
| ckpt | rank_A | ‖A‖/‖v_emo‖ | 帧间 cos_A | 专一性 gap |
|---|---|---|---|---|
| m10_lam0(DTW+共享) | 30.76 | 0.126 | 0.231 | −0.012 |
| m13_l0(R3+双路) | 34.44 | 0.066 | 0.235 | −0.030 |
| m13_l10(λ=1.0) | 32.80 | 0.069 | 0.241 | −0.042 |
情感专一性 gap 在 R3 双路配置下依旧为负——F6 第四次确认; λ=1.0 甚至更负。A 的方向仍由句子主导。
6 结论¶
| 项 | 结论 |
|---|---|
| H1' | ✅ 通过。R3 把共享 token 通道的 MOS@α=0 拉到 3.57(预注册线 3.5),整体 MOS 3.04 超 v4 |
| H2' | ✅ 通过。双路全指标小幅受益,CER 降到 0.098 |
| H3' | ⚪ 零结果。训练侧剂量响应清晰、下游全部 <2σ——λ 无效应在第三种配置下复现,P4 闭环 |
| 变速方法定论 | Rubber Band R3 为默认,PV/WSOLA/直接缩放全部退役 |
| 当前推荐配置 | 质量优先:F1(R3 共享 token + 旧推理,MOS 3.04);双路完整性优先:F2 或 F5(差异在噪声内,F2 少一个正则项更简单) |
| 遗留 | ① 双路 CER(0.10 vs 共享 0.05)仍未归因(token 重采样分布差是首要怀疑)② MOS@α=0 距 v4 还差 0.17 ③ F3/F5 的受控数波动若要当真需重复种子 |