跳转至

S4 · α 控制了哪些声学维

批次 / 日期 第二批 · 用户 09-13:"通过都是单调上升或下降的放一个类别,上下波动的放另一个类别,用简单的单调性来判断 alpha 改变的是哪些维度"
延续自 E7 §3.1–3.4:只比两端、α 不进计算
状态 ✅ 已完成(2026-09-13)

1 判据:一维受不受控,就看它单不单调

α 是个旋钮。把它从 0 拧到 1.25(六档:0 / 0.25 / 0.5 / 0.75 / 1.0 / 1.25), 看某个声学维的中位曲线是不是一路朝一个方向走。五个相邻差里 ≥4 步同向记作「单调」; 四个情感里有几个单调,记作该维的控制等级 k(0–4)。不做显著性检验。

对照量只有一个:Δ_raw = 真实情感录音相对同人同句中立录音的 z 分变化(全量 test 1276 对取中位), 即「真实情感到底依赖这一维多少」。

控制等级 维数 真实情感依赖度 |Δ_raw| 中位
稳定控制(k ≥3) 38 0.61
部分控制(k 1–2) 34 0.35
完全不控(k =0) 16 0.11

α 控得住的,正是情感依赖的:情感最依赖的前 20 维里,14 维稳定控制、6 维部分控制、完全不控的一个都没有。

2 论文用图(camera-ready)

六个面板一张图:上排是 α 稳定控制的三维,下排是 α 控不住的三维。全英文、矢量 PDF。

⬇ 下载 PDF   PNG 预览

alpha dims

对比一眼可见:上排三条曲线一路朝一个方向走;下排来回折返,Jitter mean 在 α=0.5 冲到顶再掉回去, F1 bandwidth mean 在 α=0.25 先升后跌。虚线为真实中立与真实情感水平。

单独下载:每维一张 PDF

α 稳定控制的三维

⬇ F0 mean ⬇ Loudness mean ⬇ MFCC1 mean

α 控不住的三维

⬇ F1 bandwidth mean ⬇ F2 frequency mean ⬇ Jitter mean

PNG 预览: F0 · Loudness · MFCC1 · F1bw · F2freq · Jitter

下面 §3 与 §4 是同样六维所在两组的完整版(各 4–8 维)。

3 α 控得住的三类

三张图,每条曲线是一个情感的 z 分中位随 α 变化,图例括号内是该情感六档里同向的步数;灰虚线 = 真实中立水平、红虚线 = 真实情感水平。

3.1 音高高度

受控·音高

F0 的四个分位数全部平滑上升,生气/高兴/惊讶多为 5/5 步同向。α 拧大 → 音高抬高,没有例外。

3.2 响度水平与起落

受控·响度

不只是「变响」——响度的上升斜率与下降斜率同样单调增大,也就是说话的动态起伏变陡,不是整体音量被调大。

3.3 谱包络 mfcc1

受控·mfcc1

mfcc1 单调下降(Δ_raw −1.20 / −1.30,是 88 维里情感依赖度最高的两维)。mfcc1 下降对应频谱倾斜变平、高频能量占比上升,听感就是「变亮、变紧」。

4 α 控不住的两类

同样的画法。这两类的特点不是「不动」——位移往往不小——而是「动得不单调」:曲线来回折返、四个情感彼此交叉,拧 α 会改变它们,但不可预测、不可分级。

4.1 共振峰:声道形状

不受控·共振峰

F1 带宽、F2/F3 频率与相对幅度共 8 维。以 F1bandwidth_amean 为例,位移 −1.13 并不小,但曲线在 α=0.25 先升后跌、α=1.0 附近又回头。共振峰由音素内容与声道形状决定,不是一个全局强度标量能单调调节的。

4.2 嗓音微扰:jitter / shimmer

不受控·嗓音微扰

逐周期的基频抖动与振幅抖动。真实情感确实依赖它们(jitter Δ_raw +0.35~+0.40),但 α 给不出单调响应。

这两节是论文局限一节的素材:α 覆盖了情感依赖的主要维度,但声道形状与嗓音微扰不在它的控制范围内。

5 悲伤 × 节律:α 和节律没有关系

悲伤是四个情感里 α 作用面最窄的一个。原因不在模型——悲伤本身就是 eGeMAPS 空间里位移最小的情感(真实 |Δ_raw| 中位 0.13,其余三情感 0.46–0.51)——而在于悲伤比其余情感更依赖节律,而节律正是 α 不控的那一类。

下表只看悲伤,列出节奏/时长族的全部 5 维:左边是真实悲伤录音相对中立录音要往哪走,右边是 α 从 0 拧到 1.25 时模型实际怎么走。

节律维 含义 真实悲伤要往哪走 α=0 α=0.25 α=0.5 α=0.75 α=1 α=1.25 净变化
VoicedSegmentsPerSec 每秒浊音段数(≈ 语速) -0.51 -0.10 -0.20 -0.10 -0.37 -0.08 -0.12 -0.02
MeanVoicedSegmentLengthSec 浊音段平均时长 +0.03 +0.10 -0.26 -0.44 -0.12 -0.25 -0.29 -0.39
StddevVoicedSegmentLengthSec 浊音段时长离散度 +0.18 -0.01 -0.19 -0.48 -0.45 -0.45 -0.54 -0.53
MeanUnvoicedSegmentLength 清音段平均时长(≈ 停顿长度) +0.44 -0.08 +0.10 +0.13 +0.11 +0.04 -0.15 -0.07
StddevUnvoicedSegmentLength 清音段时长离散度 +0.29 -0.31 -0.33 -0.46 -0.49 -0.53 -0.42 -0.11

(表内为 z 分中位;「真实悲伤要往哪走」= 悲伤的 Δ_raw。)

三件事一眼可见:

  1. 真实悲伤最依赖的两维,α 几乎没动。VoicedSegmentsPerSec 真实要降 −0.51(说得慢下来),α 全程净变 −0.02;MeanUnvoicedSegmentLength 真实要升 +0.44(停顿拉长),α 净变 −0.07。

  2. 另外三维 α 动了,但方向反了。StddevVoicedSegmentLengthSec 真实 +0.18、α 给出 −0.53;StddevUnvoicedSegmentLength 真实 +0.29、α 给出 −0.11;MeanVoicedSegmentLengthSec 真实几乎不变(+0.03)、α 却推了 −0.39。

  3. α 推节律的方向是「更快、更紧凑」(浊音段变短、离散度变小),这对生气/惊讶是对的,对悲伤恰好相反——悲伤要的是更慢、停顿更长。这就是悲伤最弱的原因。

结论:α 是一个「唤醒度」旋钮,它调的是能量与频谱重心;节律不在它的控制里,所以低唤醒、靠节律表达的情感(悲伤)覆盖不足。这是架构层面的边界,不是训练不够。

6 全部 88 维:分类与去向(备查)

控制等级:稳定 38 / 部分 34 / 不控 16。去向:正文 15、局限 19、与正文维冗余 4、次要 14、情感依赖低 36。

「冗余」的判据是逐对位移向量与某个正文维的相关 ≥ 0.90(不是主观判断);「情感依赖低」指 |Δ_raw| < 0.30,即真实情感录音相对中立本来就几乎不变这一维。

音高 F0(10 维)
维 Δ_raw α 位移 k 等级 去向 图
F0_p80.0 +1.07 +1.08 4 稳定控制 正文 看图
F0_amean +1.01 +1.13 3 稳定控制 正文 看图
F0_p50.0 +1.00 +1.09 2 部分控制 正文 看图
F0_p20.0 +0.92 +0.90 3 稳定控制 正文 看图
F0_pctlrange0-2 +0.55 +0.66 1 部分控制 α 控不住(局限) 看图
F0_stddevRisingSlope -0.15 -0.04 1 部分控制 情感依赖低 看图
F0_meanRisingSlope -0.15 +0.06 0 完全不控 情感依赖低 看图
F0_stddevNorm +0.08 +0.35 0 完全不控 情感依赖低 看图
F0_stddevFallingSlope +0.08 +0.09 0 完全不控 情感依赖低 看图
F0_meanFallingSlope +0.08 +0.22 2 部分控制 情感依赖低 看图
响度(12 维)
维 Δ_raw α 位移 k 等级 去向 图
声级dB +0.93 +1.81 3 稳定控制 正文 看图
loudness_p80.0 +0.78 +1.02 3 稳定控制 正文 看图
loudness_amean +0.78 +1.17 3 稳定控制 正文 看图
loudness_pctlrange0-2 +0.78 +1.07 3 稳定控制 正文 看图
loudness_stddevRisingSlope +0.77 +1.78 3 稳定控制 正文 看图
loudness_meanFallingSlope +0.76 +1.54 3 稳定控制 次要(依赖与控制均中等) 看图
loudness_meanRisingSlope +0.72 +1.76 3 稳定控制 与正文维冗余 看图
loudness_stddevFallingSlope +0.66 +1.36 3 稳定控制 次要(依赖与控制均中等) 看图
loudness_p50.0 +0.62 +0.51 3 稳定控制 与正文维冗余 看图
loudness_stddevNorm +0.53 +1.82 3 稳定控制 次要(依赖与控制均中等) 看图
loudnessPeaksPerSec -0.12 +0.00 1 部分控制 情感依赖低 看图
loudness_p20.0 +0.00 -0.54 4 稳定控制 情感依赖低 看图
谱斜率/平衡(17 维)
维 Δ_raw α 位移 k 等级 去向 图
alphaRatioV_amean +0.81 +0.65 2 部分控制 正文 看图
hammarbergIndexV_amean -0.80 -0.57 2 部分控制 正文 看图
spectralFlux_stddevNorm +0.71 +1.63 4 稳定控制 次要(依赖与控制均中等) 看图
spectralFlux_amean +0.69 +1.31 3 稳定控制 与正文维冗余 看图
spectralFluxV_amean +0.69 +1.32 3 稳定控制 与正文维冗余 看图
slopeV0-500_amean +0.67 +0.43 1 部分控制 α 控不住(局限) 看图
hammarbergIndexV_stddevNorm +0.60 +1.32 4 稳定控制 次要(依赖与控制均中等) 看图
slopeV500-1500_amean +0.55 +0.30 0 完全不控 α 控不住(局限) 看图
spectralFluxV_stddevNorm +0.54 +1.60 3 稳定控制 次要(依赖与控制均中等) 看图
slopeUV500-1500_amean +0.35 +0.40 1 部分控制 α 控不住(局限) 看图
spectralFluxUV_amean +0.30 +0.51 4 稳定控制 次要(依赖与控制均中等) 看图
alphaRatioV_stddevNorm -0.26 -0.47 3 稳定控制 情感依赖低 看图
alphaRatioUV_amean +0.14 -0.24 3 稳定控制 情感依赖低 看图
hammarbergIndexUV_amean -0.10 +0.32 1 部分控制 情感依赖低 看图
slopeUV0-500_amean +0.08 -0.31 0 完全不控 情感依赖低 看图
slopeV500-1500_stddevNorm -0.01 -0.02 1 部分控制 情感依赖低 看图
slopeV0-500_stddevNorm -0.01 +0.02 4 稳定控制 情感依赖低 看图
MFCC 包络(16 维)
维 Δ_raw α 位移 k 等级 去向 图
mfcc1V_amean -1.30 -1.43 3 稳定控制 正文 看图
mfcc1_amean -1.20 -1.12 3 稳定控制 正文 看图
mfcc3_amean -0.76 -0.59 4 稳定控制 次要(依赖与控制均中等) 看图
mfcc2_amean -0.75 -0.23 1 部分控制 α 控不住(局限) 看图
mfcc3V_amean -0.72 -0.60 3 稳定控制 次要(依赖与控制均中等) 看图
mfcc2V_amean -0.62 -0.19 1 部分控制 α 控不住(局限) 看图
mfcc4_amean -0.49 -0.37 3 稳定控制 次要(依赖与控制均中等) 看图
mfcc1V_stddevNorm * +0.48 +0.79 3 稳定控制 次要(依赖与控制均中等) 看图
mfcc4V_amean -0.45 -0.46 0 完全不控 α 控不住(局限) 看图
mfcc1_stddevNorm +0.34 +0.44 3 稳定控制 次要(依赖与控制均中等) 看图
mfcc2V_stddevNorm -0.01 -0.01 0 完全不控 情感依赖低 看图
mfcc4_stddevNorm +0.01 -0.01 4 稳定控制 情感依赖低 看图
mfcc2_stddevNorm +0.00 +0.00 0 完全不控 情感依赖低 看图
mfcc3V_stddevNorm -0.00 -0.00 2 部分控制 情感依赖低 看图
mfcc4V_stddevNorm +0.00 -0.00 3 稳定控制 情感依赖低 看图
mfcc3_stddevNorm +0.00 +0.00 3 稳定控制 情感依赖低 看图
共振峰(18 维)
维 Δ_raw α 位移 k 等级 去向 图
F1frequency_amean +0.80 +0.71 1 部分控制 正文 看图
F2frequency_amean +0.65 +0.70 2 部分控制 α 控不住(局限) 看图
F1bandwidth_stddevNorm +0.56 +0.85 2 部分控制 α 控不住(局限) 看图
F1bandwidth_amean -0.46 -1.13 2 部分控制 α 控不住(局限) 看图
F3frequency_amean +0.44 +0.89 4 稳定控制 次要(依赖与控制均中等) 看图
F3amplitudeLogRelF0_stddevNorm -0.43 -0.52 1 部分控制 α 控不住(局限) 看图
F2frequency_stddevNorm -0.41 -0.54 1 部分控制 α 控不住(局限) 看图
F3frequency_stddevNorm -0.36 -0.58 2 部分控制 α 控不住(局限) 看图
F2amplitudeLogRelF0_stddevNorm -0.34 -0.45 1 部分控制 α 控不住(局限) 看图
F3amplitudeLogRelF0_amean +0.33 +0.50 1 部分控制 α 控不住(局限) 看图
F2amplitudeLogRelF0_amean +0.29 +0.45 0 完全不控 情感依赖低 看图
F2bandwidth_stddevNorm +0.22 +0.50 3 稳定控制 情感依赖低 看图
F1frequency_stddevNorm -0.16 -0.33 1 部分控制 情感依赖低 看图
F1amplitudeLogRelF0_stddevNorm +0.12 -0.05 0 完全不控 情感依赖低 看图
F1amplitudeLogRelF0_amean -0.09 +0.14 0 完全不控 情感依赖低 看图
F3bandwidth_stddevNorm +0.09 +0.47 1 部分控制 情感依赖低 看图
F3bandwidth_amean +0.06 -0.49 2 部分控制 情感依赖低 看图
F2bandwidth_amean -0.04 -0.64 2 部分控制 情感依赖低 看图
嗓音质量(10 维)
维 Δ_raw α 位移 k 等级 去向 图
logRelF0-H1-A3_amean -1.00 -0.96 2 部分控制 正文 看图
HNRdBACF_amean +0.61 +0.57 1 部分控制 α 控不住(局限) 看图
logRelF0-H1-A3_stddevNorm +0.59 +1.04 4 稳定控制 次要(依赖与控制均中等) 看图
jitterLocal_stddevNorm +0.40 +0.58 2 部分控制 α 控不住(局限) 看图
jitterLocal_amean +0.35 +0.33 0 完全不控 α 控不住(局限) 看图
shimmerLocaldB_stddevNorm -0.30 +0.60 0 完全不控 α 控不住(局限) 看图
logRelF0-H1-H2_amean +0.18 +0.43 3 稳定控制 情感依赖低 看图
shimmerLocaldB_amean +0.10 +0.24 0 完全不控 情感依赖低 看图
logRelF0-H1-H2_stddevNorm * +0.04 +0.04 3 稳定控制 情感依赖低 看图
HNRdBACF_stddevNorm -0.00 +0.24 0 完全不控 情感依赖低 看图
节奏/时长(5 维)
维 Δ_raw α 位移 k 等级 去向 图
VoicedSegmentsPerSec -0.22 -0.45 0 完全不控 情感依赖低 看图
StddevVoicedSegmentLengthSec +0.17 +0.17 1 部分控制 情感依赖低 看图
MeanVoicedSegmentLengthSec +0.14 +0.39 1 部分控制 情感依赖低 看图
StddevUnvoicedSegmentLength +0.13 +0.12 2 部分控制 情感依赖低 看图
MeanUnvoicedSegmentLength +0.07 -0.02 1 部分控制 情感依赖低 看图

* = 变异系数型、数值不稳的两维;全流程用中位数,不受其离群值影响。 机器可读全表 outputs/m21/e7/s4_mono.json,悲伤节律表 outputs/m21/e7/s4_sad_rhythm.json;脚本 emo/exp/M17_editor/m21_s4_mono.py 产出全部图表。

7 结论

  1. α 控得住的正是情感依赖的:稳定控制的 38 维真实依赖度中位 0.61,完全不控的 16 维只有 0.11;情感最依赖的前 20 维里没有一维是完全不控的。

  2. 控得最稳的是三类:音高高度、响度水平与起落、谱包络 mfcc1(§3)。响度那一类值得强调——变的是起落斜率而非整体音量,说明 α 调的是说话动态而不是增益。

  3. 控不住的是两类:共振峰(声道形状)与嗓音微扰(jitter/shimmer)。它们情感依赖度不低、位移也不小,但动得不单调(§4)。这是论文局限一节的内容。

  4. 悲伤覆盖不足的根因是节律(§5):α 推节律的方向是「更快更紧凑」,而悲伤要的是更慢、停顿更长;它最依赖的两个节律维 α 几乎没动,另外三维方向还反了。

讨论