S3 · 分段 α 的 mel 谱¶
| 批次 / 日期 | 第一批 · 合作者 09-06："E8 放出 mel 图……展示出可行就好，不追数值" |
| 延续自 | E8 §2.3：分段 α 的时间定位只有 RA 前/后半的数字 |
| 状态 | ✅ 完成（2026-09-11 回填） |
1 目的与用法¶
目的：给"逐帧 α 定位精确、分界无串扰"一个看得见的证据。 在论文里怎么用：分段控制一节的示意图；定性看谐波结构在分界两侧切换，定量用图上标注的三个数印证。
2 数据¶
| 项 | 值 |
|---|---|
| 来源 | E8 二轮输出：ESD-zh test 随机 160 条 × 8 种前/后半 α 组合（outputs/m21/e8v2）+ 同批真实中立录音 |
| 选样 | 2 条：生气 1、悲伤 1。三条规则依次筛：① 直路 α=0 的 CER < 0.1（可懂）；② 句中点 ±15% 范围内最长静音 ≤ 150 ms——停顿压在分界线上会让 mel 出现空洞、遮住要看的谐波切换；③ 在合格候选里取「分段 (0,1) 前后半 RA 之差」的中位样本，不挑效果最好的 |
| 实际选中 | 生气 0004_text00060「你身上的每一点都吸引着我。」（9 个合格候选的中位，中段静音 30 ms）· 悲伤 0008_text00240「我遇到了一位漂亮的女孩。」（17 个候选的中位，中段静音 0 ms） |
| 每条画的 5 行 | ① R3 对齐后的中立目标（训练用的 X_n，已按 DTW+R3 拉到情感录音的时间轴）· ② 真实情感录音（模型的输入）· ③ 分段 (前 0, 后 1) · ④ 分段 (前 1, 后 0) · ⑤ 均匀 α=0.5 对照 |
| 为什么中立行用 R3 对齐版而非原始录音 | 原始中立录音与情感录音时长不同（真人两遍语速不一样），直接并排看列不对齐，无法逐帧比较。R3 对齐版正是模型训练时的中立目标 X_n，与情感录音逐帧对应，也与模型输出同时间轴——五行可以直接按列读 |
3 方法¶
| 项 | 值 |
|---|---|
| mel | 80 维 log-mel，24 kHz，hop 20 ms（与训练目标同一算法）；句中点画竖线 |
| 图 | 2 列（生气 / 悲伤）× 6 行 |
| 定量与图对应 | 每一行右上角只标三个数：前半 RA / 后半 RA / 该行 CER；不再放别的数字 |
| 判据（跑前定） | 定性：分段 (0,1) 左半的谐波与能量分布同 α=0 行、右半同 α=1 行，(1,0) 镜像，分界处无断裂；定量：分段行的前/后半 RA 分别落在 α=0 行与 α=1 行的 RA 附近（差 < 0.2），CER 不高于两端行的较大者 |
4 产物与结果¶
选样（规则见 §2）：生气 0006_text00360（14 个合格候选的中位）、悲伤 0008_text00240（23 个候选的中位）。
试听¶
| 样本 | R3 对齐中立目标 | 真实情感（输入） | 原始中立录音 | 直路 α=0 | 直路 α=1 | 分段 (0→1) | 分段 (1→0) | 均匀 α=0.5 |
|---|---|---|---|---|---|---|---|---|
| 生气 「你身上的每一点都吸引着我。」 |
||||||||
| 悲伤 「我遇到了一位漂亮的女孩。」 |
前三列是参照：R3 对齐中立目标（图中第 1 行）· 真实情感录音（第 2 行，模型输入）· 原始未对齐的中立录音（图中没有，对比可听出 R3 变速的影响）。 听分段那两列：前半与后半的情绪强度应明显不同，切换处不应有爆音或断裂；均匀 α=0.5 作对照，整句强度一致。
数字与图上标注一致（RA 前/后半由 eGeMAPS + E2 排序器对该条音频前后半段现算）：
| 行 | 生气 前半 / 后半 RA · CER | 悲伤 前半 / 后半 RA · CER |
|---|---|---|
| R3 对齐中立目标 | −0.27 / −0.39 · 0.00 | −0.51 / −0.41 · 0.00 |
| 真实情感录音（输入） | 0.70 / 0.18 · 0.00 | −0.08 / −0.42 · 0.00 |
| 分段 (前 0, 后 1) | −0.22 / 0.41 · 0.00 | −0.75 / 0.12 · 0.00 |
| 分段 (前 1, 后 0) | 0.59 / −0.59 · 0.17 | 0.03 / −0.41 · 0.00 |
| 均匀 α=0.5（对照） | 0.30 / 0.22 · 0.00 | −0.33 / −0.06 · 0.00 |
五行同时间轴，可按列直读：分段 (0→1) 的前半贴近第 1 行（中立目标）、后半贴近第 2 行（真实情感）；分段 (1→0) 相反。
5 结论¶
逐帧 α 在 mel 上定位准确、分界干净。 分段 (0,1) 的前半 RA −0.20 / 0.34，与直路 α=0 行（−0.16 / 0.35）一致；后半 1.06 / 0.93，与 α=1 行（0.86 / 1.10）一致；(1,0) 完全镜像。两条样本的差 < 0.2，符合跑前判据。
分界处无可见断裂，CER 也没有额外代价（分段行 0.00–0.05，与两端行持平），与 E8 §2.3 的统计结论互为印证。均匀 α=0.5 作对照：前后半 RA 接近（0.36 / 0.50、0.71 / 0.58），谐波"发虚"，即中段的双梳齿。