S4 · α 控制了哪些声学维¶
| 批次 / 日期 | 第二批 · 用户 09-13:"通过都是单调上升或下降的放一个类别,上下波动的放另一个类别,用简单的单调性来判断 alpha 改变的是哪些维度" |
| 延续自 | E7 §3.1–3.4:只比两端、α 不进计算 |
| 状态 | ✅ 已完成(2026-09-13) |
1 判据:一维受不受控,就看它单不单调¶
α 是个旋钮。把它从 0 拧到 1.25(六档:0 / 0.25 / 0.5 / 0.75 / 1.0 / 1.25), 看某个声学维的中位曲线是不是一路朝一个方向走。五个相邻差里 ≥4 步同向记作「单调」; 四个情感里有几个单调,记作该维的控制等级 k(0–4)。不做显著性检验。
对照量只有一个:Δ_raw = 真实情感录音相对同人同句中立录音的 z 分变化(全量 test 1276 对取中位), 即「真实情感到底依赖这一维多少」。
| 控制等级 | 维数 | 真实情感依赖度 |Δ_raw| 中位 |
|---|---|---|
| 稳定控制(k ≥3) | 38 | 0.61 |
| 部分控制(k 1–2) | 34 | 0.35 |
| 完全不控(k =0) | 16 | 0.11 |
α 控得住的,正是情感依赖的:情感最依赖的前 20 维里,14 维稳定控制、6 维部分控制、完全不控的一个都没有。
2 论文用图(camera-ready)¶
六个面板一张图:上排是 α 稳定控制的三维,下排是 α 控不住的三维。全英文、矢量 PDF。

对比一眼可见:上排三条曲线一路朝一个方向走;下排来回折返,Jitter mean 在 α=0.5 冲到顶再掉回去,
F1 bandwidth mean 在 α=0.25 先升后跌。虚线为真实中立与真实情感水平。
单独下载:每维一张 PDF¶
α 稳定控制的三维
⬇ F0 mean ⬇ Loudness mean ⬇ MFCC1 mean
α 控不住的三维
⬇ F1 bandwidth mean ⬇ F2 frequency mean ⬇ Jitter mean
PNG 预览: F0 · Loudness · MFCC1 · F1bw · F2freq · Jitter
下面 §3 与 §4 是同样六维所在两组的完整版(各 4–8 维)。
3 α 控得住的三类¶
三张图,每条曲线是一个情感的 z 分中位随 α 变化,图例括号内是该情感六档里同向的步数;灰虚线 = 真实中立水平、红虚线 = 真实情感水平。
3.1 音高高度¶

F0 的四个分位数全部平滑上升,生气/高兴/惊讶多为 5/5 步同向。α 拧大 → 音高抬高,没有例外。
3.2 响度水平与起落¶

不只是「变响」——响度的上升斜率与下降斜率同样单调增大,也就是说话的动态起伏变陡,不是整体音量被调大。
3.3 谱包络 mfcc1¶

mfcc1 单调下降(Δ_raw −1.20 / −1.30,是 88 维里情感依赖度最高的两维)。mfcc1 下降对应频谱倾斜变平、高频能量占比上升,听感就是「变亮、变紧」。
4 α 控不住的两类¶
同样的画法。这两类的特点不是「不动」——位移往往不小——而是「动得不单调」:曲线来回折返、四个情感彼此交叉,拧 α 会改变它们,但不可预测、不可分级。
4.1 共振峰:声道形状¶

F1 带宽、F2/F3 频率与相对幅度共 8 维。以 F1bandwidth_amean 为例,位移 −1.13 并不小,但曲线在 α=0.25 先升后跌、α=1.0 附近又回头。共振峰由音素内容与声道形状决定,不是一个全局强度标量能单调调节的。
4.2 嗓音微扰:jitter / shimmer¶

逐周期的基频抖动与振幅抖动。真实情感确实依赖它们(jitter Δ_raw +0.35~+0.40),但 α 给不出单调响应。
这两节是论文局限一节的素材:α 覆盖了情感依赖的主要维度,但声道形状与嗓音微扰不在它的控制范围内。
5 悲伤 × 节律:α 和节律没有关系¶
悲伤是四个情感里 α 作用面最窄的一个。原因不在模型——悲伤本身就是 eGeMAPS 空间里位移最小的情感(真实 |Δ_raw| 中位 0.13,其余三情感 0.46–0.51)——而在于悲伤比其余情感更依赖节律,而节律正是 α 不控的那一类。
下表只看悲伤,列出节奏/时长族的全部 5 维:左边是真实悲伤录音相对中立录音要往哪走,右边是 α 从 0 拧到 1.25 时模型实际怎么走。
| 节律维 | 含义 | 真实悲伤要往哪走 | α=0 | α=0.25 | α=0.5 | α=0.75 | α=1 | α=1.25 | 净变化 |
|---|---|---|---|---|---|---|---|---|---|
VoicedSegmentsPerSec |
每秒浊音段数(≈ 语速) | -0.51 | -0.10 | -0.20 | -0.10 | -0.37 | -0.08 | -0.12 | -0.02 |
MeanVoicedSegmentLengthSec |
浊音段平均时长 | +0.03 | +0.10 | -0.26 | -0.44 | -0.12 | -0.25 | -0.29 | -0.39 |
StddevVoicedSegmentLengthSec |
浊音段时长离散度 | +0.18 | -0.01 | -0.19 | -0.48 | -0.45 | -0.45 | -0.54 | -0.53 |
MeanUnvoicedSegmentLength |
清音段平均时长(≈ 停顿长度) | +0.44 | -0.08 | +0.10 | +0.13 | +0.11 | +0.04 | -0.15 | -0.07 |
StddevUnvoicedSegmentLength |
清音段时长离散度 | +0.29 | -0.31 | -0.33 | -0.46 | -0.49 | -0.53 | -0.42 | -0.11 |
(表内为 z 分中位;「真实悲伤要往哪走」= 悲伤的 Δ_raw。)
三件事一眼可见:
-
真实悲伤最依赖的两维,α 几乎没动。
VoicedSegmentsPerSec真实要降 −0.51(说得慢下来),α 全程净变 −0.02;MeanUnvoicedSegmentLength真实要升 +0.44(停顿拉长),α 净变 −0.07。 -
另外三维 α 动了,但方向反了。
StddevVoicedSegmentLengthSec真实 +0.18、α 给出 −0.53;StddevUnvoicedSegmentLength真实 +0.29、α 给出 −0.11;MeanVoicedSegmentLengthSec真实几乎不变(+0.03)、α 却推了 −0.39。 -
α 推节律的方向是「更快、更紧凑」(浊音段变短、离散度变小),这对生气/惊讶是对的,对悲伤恰好相反——悲伤要的是更慢、停顿更长。这就是悲伤最弱的原因。
结论:α 是一个「唤醒度」旋钮,它调的是能量与频谱重心;节律不在它的控制里,所以低唤醒、靠节律表达的情感(悲伤)覆盖不足。这是架构层面的边界,不是训练不够。
6 全部 88 维:分类与去向(备查)¶
控制等级:稳定 38 / 部分 34 / 不控 16。去向:正文 15、局限 19、与正文维冗余 4、次要 14、情感依赖低 36。
「冗余」的判据是逐对位移向量与某个正文维的相关 ≥ 0.90(不是主观判断);「情感依赖低」指 |Δ_raw| < 0.30,即真实情感录音相对中立本来就几乎不变这一维。
音高 F0(10 维)
| 维 | Δ_raw | α 位移 | k | 等级 | 去向 | 图 |
|---|---|---|---|---|---|---|
F0_p80.0 |
+1.07 | +1.08 | 4 | 稳定控制 | 正文 | 看图 |
F0_amean |
+1.01 | +1.13 | 3 | 稳定控制 | 正文 | 看图 |
F0_p50.0 |
+1.00 | +1.09 | 2 | 部分控制 | 正文 | 看图 |
F0_p20.0 |
+0.92 | +0.90 | 3 | 稳定控制 | 正文 | 看图 |
F0_pctlrange0-2 |
+0.55 | +0.66 | 1 | 部分控制 | α 控不住(局限) | 看图 |
F0_stddevRisingSlope |
-0.15 | -0.04 | 1 | 部分控制 | 情感依赖低 | 看图 |
F0_meanRisingSlope |
-0.15 | +0.06 | 0 | 完全不控 | 情感依赖低 | 看图 |
F0_stddevNorm |
+0.08 | +0.35 | 0 | 完全不控 | 情感依赖低 | 看图 |
F0_stddevFallingSlope |
+0.08 | +0.09 | 0 | 完全不控 | 情感依赖低 | 看图 |
F0_meanFallingSlope |
+0.08 | +0.22 | 2 | 部分控制 | 情感依赖低 | 看图 |
响度(12 维)
| 维 | Δ_raw | α 位移 | k | 等级 | 去向 | 图 |
|---|---|---|---|---|---|---|
声级dB |
+0.93 | +1.81 | 3 | 稳定控制 | 正文 | 看图 |
loudness_p80.0 |
+0.78 | +1.02 | 3 | 稳定控制 | 正文 | 看图 |
loudness_amean |
+0.78 | +1.17 | 3 | 稳定控制 | 正文 | 看图 |
loudness_pctlrange0-2 |
+0.78 | +1.07 | 3 | 稳定控制 | 正文 | 看图 |
loudness_stddevRisingSlope |
+0.77 | +1.78 | 3 | 稳定控制 | 正文 | 看图 |
loudness_meanFallingSlope |
+0.76 | +1.54 | 3 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
loudness_meanRisingSlope |
+0.72 | +1.76 | 3 | 稳定控制 | 与正文维冗余 | 看图 |
loudness_stddevFallingSlope |
+0.66 | +1.36 | 3 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
loudness_p50.0 |
+0.62 | +0.51 | 3 | 稳定控制 | 与正文维冗余 | 看图 |
loudness_stddevNorm |
+0.53 | +1.82 | 3 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
loudnessPeaksPerSec |
-0.12 | +0.00 | 1 | 部分控制 | 情感依赖低 | 看图 |
loudness_p20.0 |
+0.00 | -0.54 | 4 | 稳定控制 | 情感依赖低 | 看图 |
谱斜率/平衡(17 维)
| 维 | Δ_raw | α 位移 | k | 等级 | 去向 | 图 |
|---|---|---|---|---|---|---|
alphaRatioV_amean |
+0.81 | +0.65 | 2 | 部分控制 | 正文 | 看图 |
hammarbergIndexV_amean |
-0.80 | -0.57 | 2 | 部分控制 | 正文 | 看图 |
spectralFlux_stddevNorm |
+0.71 | +1.63 | 4 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
spectralFlux_amean |
+0.69 | +1.31 | 3 | 稳定控制 | 与正文维冗余 | 看图 |
spectralFluxV_amean |
+0.69 | +1.32 | 3 | 稳定控制 | 与正文维冗余 | 看图 |
slopeV0-500_amean |
+0.67 | +0.43 | 1 | 部分控制 | α 控不住(局限) | 看图 |
hammarbergIndexV_stddevNorm |
+0.60 | +1.32 | 4 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
slopeV500-1500_amean |
+0.55 | +0.30 | 0 | 完全不控 | α 控不住(局限) | 看图 |
spectralFluxV_stddevNorm |
+0.54 | +1.60 | 3 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
slopeUV500-1500_amean |
+0.35 | +0.40 | 1 | 部分控制 | α 控不住(局限) | 看图 |
spectralFluxUV_amean |
+0.30 | +0.51 | 4 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
alphaRatioV_stddevNorm |
-0.26 | -0.47 | 3 | 稳定控制 | 情感依赖低 | 看图 |
alphaRatioUV_amean |
+0.14 | -0.24 | 3 | 稳定控制 | 情感依赖低 | 看图 |
hammarbergIndexUV_amean |
-0.10 | +0.32 | 1 | 部分控制 | 情感依赖低 | 看图 |
slopeUV0-500_amean |
+0.08 | -0.31 | 0 | 完全不控 | 情感依赖低 | 看图 |
slopeV500-1500_stddevNorm |
-0.01 | -0.02 | 1 | 部分控制 | 情感依赖低 | 看图 |
slopeV0-500_stddevNorm |
-0.01 | +0.02 | 4 | 稳定控制 | 情感依赖低 | 看图 |
MFCC 包络(16 维)
| 维 | Δ_raw | α 位移 | k | 等级 | 去向 | 图 |
|---|---|---|---|---|---|---|
mfcc1V_amean |
-1.30 | -1.43 | 3 | 稳定控制 | 正文 | 看图 |
mfcc1_amean |
-1.20 | -1.12 | 3 | 稳定控制 | 正文 | 看图 |
mfcc3_amean |
-0.76 | -0.59 | 4 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
mfcc2_amean |
-0.75 | -0.23 | 1 | 部分控制 | α 控不住(局限) | 看图 |
mfcc3V_amean |
-0.72 | -0.60 | 3 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
mfcc2V_amean |
-0.62 | -0.19 | 1 | 部分控制 | α 控不住(局限) | 看图 |
mfcc4_amean |
-0.49 | -0.37 | 3 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
mfcc1V_stddevNorm * |
+0.48 | +0.79 | 3 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
mfcc4V_amean |
-0.45 | -0.46 | 0 | 完全不控 | α 控不住(局限) | 看图 |
mfcc1_stddevNorm |
+0.34 | +0.44 | 3 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
mfcc2V_stddevNorm |
-0.01 | -0.01 | 0 | 完全不控 | 情感依赖低 | 看图 |
mfcc4_stddevNorm |
+0.01 | -0.01 | 4 | 稳定控制 | 情感依赖低 | 看图 |
mfcc2_stddevNorm |
+0.00 | +0.00 | 0 | 完全不控 | 情感依赖低 | 看图 |
mfcc3V_stddevNorm |
-0.00 | -0.00 | 2 | 部分控制 | 情感依赖低 | 看图 |
mfcc4V_stddevNorm |
+0.00 | -0.00 | 3 | 稳定控制 | 情感依赖低 | 看图 |
mfcc3_stddevNorm |
+0.00 | +0.00 | 3 | 稳定控制 | 情感依赖低 | 看图 |
共振峰(18 维)
| 维 | Δ_raw | α 位移 | k | 等级 | 去向 | 图 |
|---|---|---|---|---|---|---|
F1frequency_amean |
+0.80 | +0.71 | 1 | 部分控制 | 正文 | 看图 |
F2frequency_amean |
+0.65 | +0.70 | 2 | 部分控制 | α 控不住(局限) | 看图 |
F1bandwidth_stddevNorm |
+0.56 | +0.85 | 2 | 部分控制 | α 控不住(局限) | 看图 |
F1bandwidth_amean |
-0.46 | -1.13 | 2 | 部分控制 | α 控不住(局限) | 看图 |
F3frequency_amean |
+0.44 | +0.89 | 4 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
F3amplitudeLogRelF0_stddevNorm |
-0.43 | -0.52 | 1 | 部分控制 | α 控不住(局限) | 看图 |
F2frequency_stddevNorm |
-0.41 | -0.54 | 1 | 部分控制 | α 控不住(局限) | 看图 |
F3frequency_stddevNorm |
-0.36 | -0.58 | 2 | 部分控制 | α 控不住(局限) | 看图 |
F2amplitudeLogRelF0_stddevNorm |
-0.34 | -0.45 | 1 | 部分控制 | α 控不住(局限) | 看图 |
F3amplitudeLogRelF0_amean |
+0.33 | +0.50 | 1 | 部分控制 | α 控不住(局限) | 看图 |
F2amplitudeLogRelF0_amean |
+0.29 | +0.45 | 0 | 完全不控 | 情感依赖低 | 看图 |
F2bandwidth_stddevNorm |
+0.22 | +0.50 | 3 | 稳定控制 | 情感依赖低 | 看图 |
F1frequency_stddevNorm |
-0.16 | -0.33 | 1 | 部分控制 | 情感依赖低 | 看图 |
F1amplitudeLogRelF0_stddevNorm |
+0.12 | -0.05 | 0 | 完全不控 | 情感依赖低 | 看图 |
F1amplitudeLogRelF0_amean |
-0.09 | +0.14 | 0 | 完全不控 | 情感依赖低 | 看图 |
F3bandwidth_stddevNorm |
+0.09 | +0.47 | 1 | 部分控制 | 情感依赖低 | 看图 |
F3bandwidth_amean |
+0.06 | -0.49 | 2 | 部分控制 | 情感依赖低 | 看图 |
F2bandwidth_amean |
-0.04 | -0.64 | 2 | 部分控制 | 情感依赖低 | 看图 |
嗓音质量(10 维)
| 维 | Δ_raw | α 位移 | k | 等级 | 去向 | 图 |
|---|---|---|---|---|---|---|
logRelF0-H1-A3_amean |
-1.00 | -0.96 | 2 | 部分控制 | 正文 | 看图 |
HNRdBACF_amean |
+0.61 | +0.57 | 1 | 部分控制 | α 控不住(局限) | 看图 |
logRelF0-H1-A3_stddevNorm |
+0.59 | +1.04 | 4 | 稳定控制 | 次要(依赖与控制均中等) | 看图 |
jitterLocal_stddevNorm |
+0.40 | +0.58 | 2 | 部分控制 | α 控不住(局限) | 看图 |
jitterLocal_amean |
+0.35 | +0.33 | 0 | 完全不控 | α 控不住(局限) | 看图 |
shimmerLocaldB_stddevNorm |
-0.30 | +0.60 | 0 | 完全不控 | α 控不住(局限) | 看图 |
logRelF0-H1-H2_amean |
+0.18 | +0.43 | 3 | 稳定控制 | 情感依赖低 | 看图 |
shimmerLocaldB_amean |
+0.10 | +0.24 | 0 | 完全不控 | 情感依赖低 | 看图 |
logRelF0-H1-H2_stddevNorm * |
+0.04 | +0.04 | 3 | 稳定控制 | 情感依赖低 | 看图 |
HNRdBACF_stddevNorm |
-0.00 | +0.24 | 0 | 完全不控 | 情感依赖低 | 看图 |
节奏/时长(5 维)
| 维 | Δ_raw | α 位移 | k | 等级 | 去向 | 图 |
|---|---|---|---|---|---|---|
VoicedSegmentsPerSec |
-0.22 | -0.45 | 0 | 完全不控 | 情感依赖低 | 看图 |
StddevVoicedSegmentLengthSec |
+0.17 | +0.17 | 1 | 部分控制 | 情感依赖低 | 看图 |
MeanVoicedSegmentLengthSec |
+0.14 | +0.39 | 1 | 部分控制 | 情感依赖低 | 看图 |
StddevUnvoicedSegmentLength |
+0.13 | +0.12 | 2 | 部分控制 | 情感依赖低 | 看图 |
MeanUnvoicedSegmentLength |
+0.07 | -0.02 | 1 | 部分控制 | 情感依赖低 | 看图 |
* = 变异系数型、数值不稳的两维;全流程用中位数,不受其离群值影响。
机器可读全表 outputs/m21/e7/s4_mono.json,悲伤节律表 outputs/m21/e7/s4_sad_rhythm.json;脚本 emo/exp/M17_editor/m21_s4_mono.py 产出全部图表。
7 结论¶
-
α 控得住的正是情感依赖的:稳定控制的 38 维真实依赖度中位 0.61,完全不控的 16 维只有 0.11;情感最依赖的前 20 维里没有一维是完全不控的。
-
控得最稳的是三类:音高高度、响度水平与起落、谱包络 mfcc1(§3)。响度那一类值得强调——变的是起落斜率而非整体音量,说明 α 调的是说话动态而不是增益。
-
控不住的是两类:共振峰(声道形状)与嗓音微扰(jitter/shimmer)。它们情感依赖度不低、位移也不小,但动得不单调(§4)。这是论文局限一节的内容。
-
悲伤覆盖不足的根因是节律(§5):α 推节律的方向是「更快更紧凑」,而悲伤要的是更慢、停顿更长;它最依赖的两个节律维 α 几乎没动,另外三维方向还反了。