S1 · 负 α 落在哪:声学空间的 UMAP¶
| 批次 / 日期 | 第一批 · 合作者 09-06 提出 |
| 原话 | 合作者微信(09-06 截图摘录):"再画一下 umap 图……解释 alpha 为负数时候是什么含义" |
| 延续自 | E4 §3.1:α 从 0 往负走,RA 不降反升(−0.25 → −1:0.08 → 0.53),CER 却从 0.22 恶化到 0.89 |
| 状态 | ✅ 完成(2026-09-11 回填) |
1 目的与用法¶
目的:回答"α<0 是不是'反情感'"。E4 只有指标:RA 升、CER 崩,两者矛盾,单看指标定不了。 在论文里怎么用:α 可用区间一节的一张图,说明负 α 不开放的原因不是"效果差",而是输出离开了真实语音的分布——RA 的回升是尺子在流形外读数,不是强度。
2 数据¶
| 项 | 值 |
|---|---|
| 被测输出 | E4 二轮直路臂:ESD-zh test 随机 160 条(四情感各 40,10 位说话人,seed 0)× α ∈ {−1, −0.5, −0.25, 0, 0.25, 0.5, 0.75, 1, 1.25, 1.5, 2, 5} = 1920 条 |
| 对比对象 | 同 160 条的真实中立录音与真实情感录音(320 条)——图上的"真实语音在哪" |
| 表示 | 每条音频一个 eGeMAPSv02 88 维向量 → 以 ESD 训练集为基准取 z 分(与 RA 同一空间)→ 剔除极端 α 下数值退化的维 |
3 方法¶
| 项 | 值 |
|---|---|
| 投影 | UMAP(cosine,n_neighbors 30,min_dist 0.1);只在真实录音 + α ∈ [0, 1.5] 的输出上拟合,负 α 与 α ≥ 2 只作投影(不让它们自己撑开坐标) |
| UMAP 要表现什么 | 三类点的相对位置:真实中立簇、真实情感簇、各档 α 的输出簇。看负 α 的簇是落在某个真实簇旁边,还是落在两者之外 |
| 定量 | 每档 α 的 160 条输出到最近一条真实录音的平均距离(88 维 z 空间,不在 UMAP 里算);基准 = 真实录音彼此的最近邻距离("在流形上"的尺度) |
| 判据(跑前定) | 若负 α 的距离随 |α| 单调增大、且到真实中立与到真实情感同时增大 → 离开流形,负 α 不开放;若落到某个真实簇附近 → 存在反情感方向,需另立实验 |
4 产物与结果¶
m21_ra.py --save_feat → m21_e4_umap.py → figs/m21_e4_umap.png

到最近一条真实录音的平均距离(eGeMAPS z 空间 63 维,不在 UMAP 里算):
| α | −1 | −0.5 | −0.25 | 0 | 0.5 | 1 | 1.5 | 2 | 5 | 真实录音彼此(基准) |
|---|---|---|---|---|---|---|---|---|---|---|
| 到最近真实录音 | 11.3 | 7.6 | 6.7 | 5.5 | 6.6 | 4.5 | 5.7 | 7.4 | 10.4 | 4.54 |
判据核对:负 α 的距离随 |α| 单调增大(−0.25 → −0.5 → −1:6.7 → 7.6 → 11.3),且右图中到真实中立与到真实情感两条线同时上翘 → 落在"离开流形"一侧,不存在反情感方向。α=1 的输出正好落在基准上(4.5 vs 4.54);α=0 略远(5.5);α ≥ 2 对称地出流形。
5 试听:负 α 的定性音频¶
与 E4 §3.6 同一组代表性样本(每情感一条,按直路 α=0.5 的 UTMOS 中位数选,不挑好听的),补上 α<0 三档。每格下方:UTMOS / CER / RA(单条 RA 噪声大,只看趋势)。
| 输入情感 · 句 | 真实中立 | 真实情感(输入) | α = −1 | α = −0.5 | α = −0.25 | α = 0 |
|---|---|---|---|---|---|---|
| 生气 · 0006_text00310「让人看上去就感到宽广,气魄非凡。」 | 1.44 / 1.00 / 2.33 |
1.48 / 1.14 / −0.32 |
1.84 / 1.29 / −0.48 |
2.03 / 0.71 / −0.49 |
||
| 高兴 · 0002_text00280「没有,不过,我们去了肯尼迪中心。」 | 1.30 / 0.69 / 0.74 |
1.77 / 0.00 / 0.35 |
2.78 / 0.00 / 0.15 |
2.85 / 0.00 / 0.04 |
||
| 悲伤 · 0007_text00350「陪你度过这漫长的黑夜。」 | 1.32 / 1.00 / −0.94 |
1.76 / 0.70 / 0.52 |
2.59 / 0.00 / 0.82 |
3.21 / 0.00 / 1.15 |
||
| 惊讶 · 0006_text00330「这个我相信,我是登山爱好者。」 | 1.36 / 0.83 / 1.26 |
1.35 / 0.92 / 0.32 |
2.21 / 0.58 / 0.15 |
2.43 / 0.25 / −0.59 |
6 结论¶
负 α 不是"反情感"方向,是离开真实语音的分布。 距离随 |α| 单调增大,且同时远离真实中立与真实情感——没有走向任何真实语音会出现的区域。E4 §3.1 里负 α 的 RA 回升(0.08 → 0.53)由此得到解释:排序器读到的是偏离流形,不是强度。试听也一致:α=−1 的四条全部严重失真,CER 0.69–1.00。
⇒ α < 0 不开放。可用区间的下界是 0(中立化),不存在"比中立更平静"的延伸。