M21 补充实验 S1–S9 · 总表¶
每项一页，格式统一：问题、数据、方法、跑前判据、结果。S1–S7 已完成并回填；S8（基线）跑中；S9（IEMOCAP）待验收后开跑。 09-11 调整：原 S5（3×5×3 分布图）并入 S2；原「统一链路补测」删除，其数字只留在 Method §4.3；编号顺延。
| # | 实验 | 要回答的问题 | 延续自 | 触发 | 状态 |
|---|---|---|---|---|---|
| S1 | 负 α 落在哪 | 负 α 是反情感还是离开流形 | E4 §3.1 | 合作者 09-06 | ✅ 已回填 |
| S2 | v̄_Δ 说话人 × 情感 × 内容一张图 | v̄_Δ 编码的是什么 | E5 §2.1 | 合作者 09-06 + 笔记 2 | ✅ 已回填 |
| S3 | 分段 α 的 mel 谱 | 分段定位是否可见、无断裂 | E8 §2.3 | 合作者 09-06 | ✅ 已回填 |
| S4 | α 动了哪些声学维 | α 动的是不是情感依赖的维 | E7 §3 | 用户 09-08 + 笔记 4 | ✅ 86 维全部画出，待用户选维 |
| S5 | 扩散轨迹（UMAP） | 四情感输入在 v_B 下汇聚、在 v_Δ 下散开 | Method §1.1 | 笔记 3 + 09-11 逻辑 | ✅ 已回填 |
| S6 | λ 消融 | λ 对中段强度与 UTMOS / CER / SECS 的影响 | M22 | 笔记 5 | ✅ 已回填 |
| S7 | 全量评测：分布内 → OOD | 主结果表 | E2–E8 · E3 | 用户 09-05 + 笔记 1 + 09-11 | ✅ 四层完成，T2-IEMOCAP 待数据 |
| S8 | 基线可控性对比 | 谁能连续调强度、能不能比 | 新 | 合作者 + 09-07 + 09-11 | 🔄 跑中（CosyVoice3 已开）；三类分法见页内 |
| S9 | T2 完全 OOD：IEMOCAP | 对话语音上强度控制还成不成立 | S7 | 用户 09-11；数据 09-12 到位 | ✅ 完成：EIT 0.80/0.85/0.87，即兴>剧本保序 |
训练数据使用情况（所有 S 实验共用的模型 M20@420k）¶
| 项 | 值 |
|---|---|
| 语料 | ESD，只用有音频的 17 位说话人：中文 0001–0010（10 位）、英文 0011、0015–0020（7 位；0012–0014 无音频，其 799 个 train 句、204 个 test/eval 句全部弃用） |
| 样本单位 | 平行对 (x_e, x_n)：同人同句的一条情感录音 + 一条中立录音；四种情感（生气 / 高兴 / 悲伤 / 惊讶）各成一对，中立录音只作目标、不作输入 |
| 划分 | 按句子编号：% 10 == 0 → test，== 1 → evaluation，其余 → train；不留说话人，17 位全部出现在训练集 |
| 数据规模 | 见下表 |
| 训练输入 / 目标 | 输入 = 情感录音的 whisper-large-v3 最后一层特征（预抽取）+ CAM++ x-vector；目标 = 情感 mel（X_e）与按情感时间轴对齐的中立 mel（X_n） |
| 训练量 | 420k 步 × 8 句/步 ≈ 198 epoch；四段续训（100k + 80k + 80k + 160k） |
| evaluation 划分 | 未使用（zh 1,273 / en 860 对） |
当前可用规模（音频 + DTW/R3 对齐目标 + whisper 特征三者齐全的 (句, 情感) 对）：
| 划分 | 语言 | 说话人 | 句 | 对 |
|---|---|---|---|---|
| train | 中文 | 10 | 2,706 | 10,097 |
| 英文 | 7 | 1,862 | 6,900 | |
| 合计 | 17 | 4,568 | 16,997 | |
| test（分布内评测） | 中文 | 10 | 342 | 1,276 |
| 英文 | 7 | 235 | 861 | |
| 合计 | 577 | 2,137 | ||
| evaluation（未使用） | 中文 / 英文 | 573 | 2,133 |
清单上四情感全齐时 train 应为 18,284 对，实际 16,997 对，成功率 93%（差额来自 DTW/R3 对齐失败或特征缺失）。
| 训练里没有的 | 未见说话人、非 ESD 语料（CREMA-D / RAVDESS / IEMOCAP 全部只在评测出现）、中立以外的两两情感对 |
完整超参数见 04 §4.1；对齐目标的构造见 Method §3.1.1。
ESD 未下载完整：当前结果基于 17 位说话人
ESD 完整版是 20 位（中文 0001–0010、英文 0011–0020），本机缺英文 0012 / 0013 / 0014 三位（各 1750 条），0015 少 35 条。
清单 manifests/esd_parallel.jsonl 本来就包含这三位，且已按同一条规则（句子编号 % 10）分好：train 799 / test 102 / evaluation 102，比例与其他说话人一致。缺的只是音频文件。
补齐后的处理（scripts/esd_complete.sh）：三级缓存（m13 → m20 → whisper 特征）全部「清单驱动 + 存在即跳过」，音频到位后重跑只处理新增条目，代码无需修改；训练集 M17Dataset("train") 按清单 split 过滤，会自动纳入新说话人。
补齐后的清单上限（实际可用按 93% 成功率折算）：
| 划分 | 现在（17 位） | 补齐后（20 位，上限） |
|---|---|---|
| train 对 | 16,997 | 21,480 |
| 英文 test 对 | 861 | 1,348 |
| 中文 test 对 | 1,276 | 1,368（中文不变，差额为对齐失败） |
已发表结果不受影响：本页所有数字基于当前 17 位，对应的评测样本已冻结在 manifests/frozen/（S7 四层 + 二轮 160 条）。复现时设 M21_FROZEN=<清单>，pick_esd_test 会只取冻结样本，忽略新增说话人。
评测数据集：原始构成、取用方式与分层（T0 / T1 / T2）¶
T 编号 = test 层级，数字越大离训练分布越远。 只在 S7 / S9 内部用于排序，论文里写完整数据集名。分层逻辑是每层只多变一个因素：T0 只换句子 → T1 再换说话人与语料 → T2 再换说话风格与标注方式。
总览¶
| 层 | 数据集 | 原始规模 | 我们用了多少 | 采样率 | 平均时长 | 参与训练 |
|---|---|---|---|---|---|---|
| 训练 + T0 | ESD | 20 说话人 × 350 句 × 5 情感 = 35,000 条 | train 16,997 对 / test 2,137 对 | 16 kHz | 2.9 s | ✅ train 划分 |
| T1 | CREMA-D | 91 演员 × 12 句 × 6 情感 = 7,442 条 | 819 条（+91 中立锚点） | 16 kHz | 2.4 s | ❌ |
| T1′ | RAVDESS | 24 演员 × 2 句 × 8 情感 × 2 强度 × 2 重复 = 1,440 条（语音部分） | 768 条 | 48 kHz → 重采 16 kHz | 3.7 s | ❌ |
| T2 | IEMOCAP | 10 说话人 × 5 会话 = 10,039 条标注 utterance | 3,928 条（+1,708 中立作锚点） | 16 kHz | 4.5 s（中位 3.5 s，最长 34 s） | ❌ |
T0 · ESD（Emotional Speech Database）¶
原始构成：20 位说话人（中文 10 位 0001–0010、英文 10 位 0011–0020），每人朗读同一批 350 句，每句用中立 / 生气 / 高兴 / 悲伤 / 惊讶各录一遍。完全平行：同人同句的五种情感版本一一对应，这是本项目能构造 (情感, 中立) 训练对的前提。
本地实际：17 位（英文 0012–0014 未下载，见训练数据使用情况），清单 6,724 句 × 5 情感。
划分：按句子编号 % 10：== 0 → test，== 1 → evaluation（未使用），其余 → train。按句划分、不留说话人，所以 test 的句子模型没见过、说话人见过。这是有意的——本项目的输入是一条情感录音，说话人泛化由 T1 / T2 层单独检验，T0 只隔离"换句子"这一个变量。
取用：
| 用途 | 条数 |
|---|---|
| 模型训练（M20@420k） | 16,997 对（zh 10,097 + en 6,900），四情感各与同句中立配对 |
| RA 排序器训练 | 750 条（中文 train，五类各 150） |
| T0-zh 评测 | 1,276 对（342 句 × 4 情感，扣除缓存或特征缺失者） |
| T0-en 评测 | 861 对（235 句 × 4 情感） |
T1 · CREMA-D（Crowd-sourced Emotional Multimodal Actors Dataset）¶
原始构成：91 位演员（多族裔、年龄 20–74）朗读 12 句固定短句，6 种情感（生气 / 厌恶 / 恐惧 / 高兴 / 中立 / 悲伤），情感句另分 LO / MD / HI 三档强度，中立只有一档（XX），共约 7,442 条。每条都有众包听测的情感与强度标注——这是它在本项目里不可替代的原因。
我们取用 819 条的口径（2026-09-13 换成完整库，此前的 16 演员子集已废）：强度档 LO/MD/HI 只存在于 IEO 这一句（CREMA-D 的设计：IEO 是专门的"强度句"，其余 11 句全是 XX 无强度档）。所以带真人三档标注、且属于本项目情感体系的样本正好是：
| 条数 | |
|---|---|
| 91 演员 × 3 情感（ANG / HAP / SAD）× 3 强度档 | 819 |
| 配对中立（同演员同句 IEO 的 NEU_XX） | 91 |
每格 91 条完全均衡。CREMA-D 没有"惊讶"类，所以该层缺这一类。全库另有 2,994 条属本项目情感体系但无强度档（XX）的样本，未纳入——本层的价值就在强度标注。
这个子集的两个后果，评测时必须记住：① CER 只能相对比较——被测样本全是同一句短语，绝对 CER 无意义，我们用两种书写形式（"eleven" / "11"）取较小值；② UTMOS 在该层不作锚点——众包录制条件下真实录音的 UTMOS 只有 1.55，低于模型输出。
它换来的东西：唯一带真人三档强度标注的评测层，使 E2 §4.3 的 RA 外部效度验证（成对准确率 76%）成为可能，也使 S7 能检验"输入越强、输出越强"的保序性。
T1′ · RAVDESS（Ryerson Audio-Visual Database of Emotional Speech and Song）¶
原始构成：24 位演员（12 男 12 女）朗读 2 句语义中性的固定句，8 种情感（中立 / 平静 / 高兴 / 悲伤 / 生气 / 恐惧 / 厌恶 / 惊讶），除中立外每种分 normal / strong 两档强度，每种配置重复 2 次。语音部分 1,440 条，48 kHz 立体声录音室质量。
我们的取用：取与本项目情感体系一致的 4 类（生气 / 高兴 / 悲伤 / 惊讶）× 2 强度档 × 2 重复 × 2 句 × 24 演员 = 768 条，每条配同一演员同句的中立版本作锚点。丢弃平静 / 恐惧 / 厌恶（本项目无对应类别）。48 kHz 统一重采到 16 kHz。
它换来的东西：第二个带强度标注的未见说话人层，且演员数（24）与条数（768）都远大于 CREMA-D 子集，使"输入强度保序"这一结论不依赖单一语料。
与 CREMA-D 的分工：CREMA-D 有三档但只有 144 条且单句；RAVDESS 有两档但 768 条、双句、24 位演员。两层互补。
T2 · IEMOCAP（Interactive Emotional Dyadic Motion Capture Database）¶
原始构成：5 个会话，每会话 1 男 1 女共 10 位演员，进行二人对话：一半是给定情景的即兴对话（improvised），一半是剧本对白（scripted）。共 151 段对话、10,039 条标注 utterance。情感标注由多名标注者投票，含类别标签与连续 VAD 评分；类别不平衡且有大量未达成一致的条目。
我们的筛选（manifests/iemocap_eval.jsonl）：
| 步骤 | 剩余 |
|---|---|
| 全部标注 utterance | 10,039 |
剔除 xxx（标注者未达成一致）2,507、fru 沮丧 1,849、fea / dis / oth 150 |
5,638 |
| 剔除时长 > 30 s（whisper 编码器上限）2 条 | 5,636 |
| 其中：非中立（被测）3,928 · 中立（作锚点）1,708 |
类别映射：ang → 生气 1,103；hap + exc → 高兴 1,635（本领域常规合并，excited 与 happy 在 VAD 空间高度重叠）；sad → 悲伤 1,083；sur → 惊讶 107（太少，结论单列不进均值）；neu → 中立 1,708。
本层特有的三处处理（与前四层不同，跑前定）：
| 问题 | 处理 |
|---|---|
| 无平行中立录音（对话语料每句只说一次） | RA 的 0 点改用全库真实中立条目均值、1 点用真实情感均值，不做同句配对 |
| 长句（最长 34 s，371 条 > 10 s） | 整句不裁剪；超过 whisper 30 s 上限的 2 条剔除并记录 |
| 有交叠、笑声、环境噪声 | 不降噪、不做 VAD 裁剪——保持真实对话原样，这正是本层要测的；代价是 CER 显著高于前四层，只作层内相对比较 |
它换来的东西：唯一的自发对话评测层。前四层全是朗读，T2 同时改变了说话风格（即兴）、录音条件（交叠噪声）与标签来源（标注者投票），是最接近真实应用的一层。另外 improvised / scripted 的天然二分提供了一个额外的强度参照（即兴更有情绪）。
各层的中立录音与 SECS 基线¶
SECS 定义为「被评音频 与 该行登记的 src_wav（通常是输入的真实情感录音）的说话人嵌入余弦」。真实中立那一行因此测的是同一个人两条不同录音之间有多像，构成该层的音色上界参照。
| 层 | 真实中立条数 | 能否同句配对 | 中立锚点 SECS |
|---|---|---|---|
| T0-zh | 1,276 | ✅ 同人同句 | 0.887 |
| T0-en | 861 | ✅ 同人同句 | 0.902 |
| T1 CREMA-D | 91 | ✅ 同人同句（IEO） | 0.833 |
| T1′ RAVDESS | 768 | ✅ 同人同句 | 0.898 |
| T2 IEMOCAP | 1,708 | ❌ 对话语料 | 1.000（参照被设成自己，无效，见 S9 §9） |
前四层都是朗读语料，同人同句的中立版本天然存在。IEMOCAP 的 1,708 条中立录音在 RA 定标时照常使用，只是 SECS 缺层内参照线。
核心组件参数¶
本区记录跨实验复用的组件的确切参数与产物，供论文方法节直接引用。新组件按同一格式追加。
组件一：RA 强度排序器（所有强度结论的量具）¶
RA 是本项目唯一的强度指标，S7/S8/S9 的 EIT、BWS-auto、归一强度全部由它算出，所以它的训练细节必须可复现。
| 项 | 值 |
|---|---|
| 方法出处 | 相对属性排序（Parikh & Grauman, ICCV 2011），语音情感强度的用法见 Zhou et al., IEEE TAFFC 2022 |
| 脚本 / 产物 | m21_e2b_ranker.py → outputs/m21/e2b/ranker.json |
| 训练数据 | ESD 中文 train 划分（说话人 0001–0010），每类各 150 条：中立 150 + 生气 150 + 高兴 150 + 悲伤 150 + 惊讶 150。候选池 2,706 句，random.seed(0) 打乱后取前 150。test / evaluation 划分完全未参与 |
| 特征 | openSMILE eGeMAPSv02 Functionals，88 维 |
| 标准化 | StandardScaler 在五类合并的训练特征上拟合；均值与标准差存入 ranker.json 的 mean / scale，推理时对任何音频用同一组统计量 |
| 训练目标 | 每种情感单独训一个排序器。正例 = 情感录音、负例 = 中立录音，构造成对差 D = [P−N ; N−P]，标签 y = [+1 ; −1] |
| 分类器 | LinearSVC(C=0.1, fit_intercept=False, max_iter=20000)。无截距是关键：排序器只需方向 w，绝对位置由下面的定标决定 |
| 强度分 | score = (z·w − lo) / (hi − lo)，其中 z 是 z 分特征；lo = 该情感训练集中立录音得分均值、hi = 情感录音得分均值。所以 0 = 真实中立、1 = 真实情感，是有物理含义的刻度，不是任意单位 |
| 四个排序器的可分度 d′ | 生气 1.69 · 惊讶 1.54 · 高兴 1.40 · 悲伤 1.01（悲伤最低，与 E7 §3.4 的"悲伤靠停顿与嗓音、位移最小"一致） |
| 中立输入的处理 | 中立音频没有对应的 w，评 CREMA-D 中立档时取生气/高兴/悲伤三个排序器的均值 |
| 退化剔除 | |RA| ∉ [−3, 5] 判为退化并剔除（极端 α 下 eGeMAPS 的 stddevNorm 类特征会爆炸） |
| 跨库使用时的规则 | 分数的绝对值随说话人与语料漂移（实测同一模型输出在不同说话人上偏移 −0.60 ~ +0.78），所以每个评测层都用该层自己的真实中立 / 真实情感均值重新定标，跨层只比 EIT 不比归一 RA（见 S7 §5.5、S9 §8） |
外部效度：在 CREMA-D 的真人三档强度标注（LO/MD/HI）上，这个中文训练的排序器直接套用到英文库，成对准确率 76%（随机 50%），valence 阴性对照 54%。详见 E2 §4.3。
已知局限（写进论文的限制段）：① 只在中文朗读语料上训练，跨到对话语音时锚点跨度会压缩（IEMOCAP 真实中立 −0.10、真实情感 0.42，跨度仅 0.52，ESD 是 0.96）；② 线性模型，对 α 的响应在 [0, 1] 内近似线性、外推区不保证；③ 悲伤的 d′ 仅 1.01，该情感的强度分噪声最大。
页面格式：① 目的与用法（论文里怎么用）② 数据（准确到条）③ 方法与跑前判据 ④ 产物与结果占位 ⑤ 结论占位。回填只答 ①，数字进 ④ 的表或标在图上，图 ≤ 2 张（S4 3 张）。