M23 · 基线对比：谁能控制情感强度¶
| 状态 | 📝 设计书定稿（2026-09-09），待验收后开跑（只用卡 0，排在全量重评之后或穿插）；代码/权重已核实（§1），评测协议对齐 EMORL-TTS 的 EIT（§2） |
| 一句话 | 合作者指定八个基线，不训练、只评测一件事：它们能不能像 α 那样连续地调情感强度。分两组——"声称可控"的看旋钮是否真的单调有跨度，"只能生成"的证明它没有旋钮 |
| 口径 | 用户决定（09-07）：不跑整套指标，只验强度可控性；RAR-based = Zhu et al. 2019 |
1 对比对象——代码与权重核实（2026-09-09）¶
逐个查了官方仓库 / 模型卡 / issue，短链用代理实测可达性。能不训练直接评的打 ✅。
| 组 | 模型 | 出处 | 控制接口 | 核实结果 | 结论 |
|---|---|---|---|---|---|
| A | MsEmoTTS | Lei et al., TASLP 2022 | 句级强度标量 | leiyi420/MsEmoTTS：1 次提交、README 只有一个标题，无代码无权重；项目页仅音频 demo | ❌ N/A，引论文自报数 |
| A | RA-TTS（Zhu et al.） | Zhu, Yang, Xie, ASRU 2019 | RA 分数作条件 | 无官方代码；唯一相近的 hs-oh-prml 仓库是 Cai 2021 的韩语 FastSpeech2 复现，不是本文 | ❌ N/A（复现即训练，违反"不训练"） |
| A | EmoDiff | Guo et al., ICASSP 2023 | 软标签引导权重 α∈[0,1] | Papers with Code 无代码；只有样例页 | ❌ N/A，引论文自报数 |
| A | EmoSphere-TTS | Cho et al., Interspeech 2024 | 球坐标情感向量，半径 = 强度 | 代码 MIT ✅；TTS 检查点（ESD，160k 步）短链 works.do/5eA33VN → Naver Works 网盘，代理实测可达 ✅；BigVGAN-16k 声码器未发布（issue #3 关闭无答复）；推理走 run.py，需 MFA 预处理 |
⚠️ 可跑，需自配 16 kHz 声码器（HiFi-GAN/BigVGAN，mel 配置须对齐）；强度参数跑前读代码 |
| A | EmoSphere++ | Cho et al., TAFFC 2025 | 情感自适应球向量，零样本说话人 | 代码 ✅；检查点短链 works.do/xO6ZtDB 可达 ✅；README 明说"BigVGAN 16k 稍后发布"，可用 HiFi-GAN；依赖 WavLM-base-sv 与 emotion2vec_plus_large（本地都有） |
⚠️ 可跑，同上声码器问题；优先于 EmoSphere-TTS（零样本 + 依赖已在本地） |
| A | EmoKnob | Chen, Chen, Hirschberg, EMNLP 2024 | 少样本情感方向向量 × 强度标量，免训练 | 代码 ✅；骨干 MetaVoice-1B 权重 Apache-2.0 ✅（英文）；用法在 demo.ipynb |
✅ 可跑，A 组里最干净的一个（免训练、权重齐） |
| 补 | Emovox | Zhou et al., TAFFC 2022 | RA 强度标量（EVC） | 代码 ✅；只放了 Stage I（VCTK 风格预训练）权重，Stage II 须在 ESD 单说话人 0013 上训 | ⚠️ 需一次轻量训练（单人、300 句/情感）；违反"不训练"，待你决定 |
| B | CosyVoice3 | Du et al., 2025 | 文本指令给情感类别，无强度接口 | 本地 models/CosyVoice3，inference_instruct2(tts_text, instruct_text, prompt_wav) ✅ |
✅ 可跑 |
| B | EmotiVoice | 网易，2023 | 情感提示词（Happy/Sad/Angry…） | 本地 models/emotivoice_repo 2.5 GB + HF 缓存 ✅（M7 时代下过） |
✅ 可跑（合作者没点名，作 B 组补充） |
| B | VALL-E | Wang et al., 2023 | 参考音频克隆，无情感接口 | 官方未开源。开源复现：VALL-E X（en/zh/ja，检查点 ✅，MIT，2025-11 归档）；Amphion VALL-E（英文，MIT） | ✅ 可跑，取 VALL-E X（有中文） |
| B | InstructTTS | Yang et al., TASLP 2023 | 自然语言风格描述 | 仓库只是 demo 页（gh-pages），无代码无权重 | ❌ N/A |
| B | PromptTTS / 2 | Guo et al., ICASSP 2023 / Leng et al., 2023 | 风格提示词 | PromptTTS 无代码；PromptTTS2 只放了 variation network 与提示生成代码，无 TTS 权重 | ❌ N/A |
1.1 可跑清单与顺序¶
| 序 | 模型 | 组 | 前置工作 |
|---|---|---|---|
| 1 | EmoKnob | A | 下 MetaVoice-1B（~5 GB）；按 demo.ipynb 取情感方向、扫强度标量 |
| 2 | EmoSphere++ | A | 下检查点；配 16 kHz HiFi-GAN；跑通 run.py；读代码定强度参数 |
| 3 | EmoSphere-TTS | A | 同上（若 ++ 跑通，此项复用管线） |
| 4 | CosyVoice3-instruct | B | 无 |
| 5 | EmotiVoice | B | 无 |
| 6 | VALL-E X | B | 下检查点 |
| （可选） | Emovox | A | 需 Stage II 轻量训练，等你拍板 |
四个 N/A（MsEmoTTS、Zhu 2019、EmoDiff、InstructTTS/PromptTTS）在结果表里保留一行，填论文自报的强度控制证据与"无法复现"标注。合作者点名的"四个必比"里能跑的只剩 EmoSphere-TTS 一个，EmoKnob 和 EmoSphere++ 是同类替代，建议提前跟合作者说明。
跑前再核两件事：EmoSphere 系列的强度参数名与范围（代码里）；EmoKnob 的方向向量需要几条少样本音频（notebook）。
1.2 合作者点名的对比对象 → 本设计的处理¶
| 截图里的对象 | 组 | 处理 |
|---|---|---|
| MsEmoTTS | A | N/A（无代码），结果表引论文自报的强度控制证据 |
| RAR-based（Zhu 2019） | A | N/A（无代码）；同族的 Mixed-Emotion（Zhou et al., TAFFC 2022，EMORL-TTS 的 RA 基线）亦无公开代码，一并标注 |
| EmoDiff | A | N/A（无代码） |
| EmoSphere-TTS | A | 可跑；检查点在 Naver Works 网盘，须从浏览器手动下载（curl 只拿到 JS 页面）；声码器自配 |
| InstructTTS | B | N/A（仓库仅 demo 页） |
| CosyVoice | B | 可跑（本地 CosyVoice3 instruct2） |
| PromptTTS | B | N/A（无 TTS 权重） |
| VALL-E | B | 可跑（VALL-E X，检查点已下 1.4 GB） |
| 合作者追加：EMORL-TTS（EIT 出处） | A | 无代码 → 不作对象，采用其 EIT 协议作评测口径（§2） |
| 补充（代码权重齐） | A / B | EmoKnob（MetaVoice-1B 已下 4.8 GB）· EmoSphere++（检查点同上须手动下）· EmotiVoice（本地） |
2 评测协议：对齐 EMORL-TTS 的 Emotion Intensity Test¶
出处：Li et al., EMORL-TTS: Reinforcement Learning for Fine-Grained Emotion Control in LLM-based TTS, arXiv 2510.05758（2025）。 原文 EIT 是主观成对听测：每个模型合成同句同情感的弱 / 中 / 强三档，听众在每对里选"情感更强的那条"， 报 Weak<Medium、Medium<Strong、Weak<Strong 三个准确率（30 人）；客观侧用 VAD 预测器到中立质心的距离。 原文对比对象：Relative Attribute（Mixed Emotion）、EmoSphere++。
本项把 EIT 拆成客观版（主）+ 主观版（可选）：
| 层 | 做法 | 出处 |
|---|---|---|
| 客观 EIT（主） | 同一句同一情感三档 → 用 RA（E2）打分，计算 W<M / M<S / W<S 三个成对准确率；这和 E2 §4.3 在 CREMA-D 真人三档上做的是同一种统计（RA 76%、随机 50%） | RA：Zhou 2022 / Parikh 2011；成对准确率：EMORL-TTS EIT |
| 客观第二意见 | audEERING arousal（EMORL-TTS 客观侧用的也是 VAD 空间）同样算三个准确率 | Wagner 2022 |
| 主观 EIT（可选） | 若合作者要做听测：每模型 4 情感 × 5 句 × 3 档，成对随机呈现，≥10 人 | EMORL-TTS |
| 门槛 | CER（Paraformer-zh / whisper）≤ 0.15 才计入，防止"崩坏被读成强" | E4 §1 |
三档怎么定（每个模型按自己的接口）：
| 模型 | 弱 / 中 / 强 |
|---|---|
| 我们 | α = 0.5 / 0.75 / 1.0（可用区间内三点；另报 0.25 与 1.5 作扩展） |
| EmoKnob | 强度标量三点（demo 默认范围的 1/3、2/3、1） |
| EmoSphere-TTS / ++ | 球向量半径三点 |
| B 组（CosyVoice3 / EmotiVoice / VALL-E X） | 无强度接口：用提示词探针 "slightly / moderately / very"（中文：有点 / 比较 / 非常）当三档；VALL-E X 无情感接口，只出一档 |
判据：① 三个成对准确率（主）；② 归一跨度 =（强 − 弱）/（该库真实情感 − 真实中立）；③ 是否覆盖中立端（弱档能否到真实中立）。 B 组的预期结果是"三档准确率 ≈ 50%"——这正是要证明的"能生成情感但不能控制"。
样本：ESD test 句子，每情感 30 句（英文模型用 en 侧，CosyVoice / EmotiVoice 用 zh 侧）× 4 情感 × 3 档；我们自己的曲线用 M21-F 全量版。
3 产出与验收标准¶
| 产出 | 验收标准 |
|---|---|
| 主表：模型 × | 截图点名的 8 个对象每个一行：可跑的填实测，N/A 的填"论文自报 + 无法复现"并给引用 |
| 主图：每模型"RA vs 三档"折线，我们的 α 曲线叠在同一坐标 | B 组画成平线/单点 |
| 音频 | 每模型每情感各 1 句三档试听 |
4 已知限制¶
RA 刻度在 ESD 上定标，英文模型的绝对值只作相对比较（同 E3 §2.2）；各模型的"三档"不可互相换算，只比成对准确率与跨度；主观 EIT 未做则在表中注明。
5 资源与排期（只用卡 0）¶
| 步 | 内容 | 预计 |
|---|---|---|
| 0 | 手动下载 EmoSphere-TTS / EmoSphere++ 检查点（Naver Works 网盘，浏览器）；配 16 kHz HiFi-GAN | 人工 |
| 1 | EmoKnob：MetaVoice-1B 已就位，按 demo.ipynb 取情感方向、三档生成 4 × 30 × 3 = 360 句 |
~1 h |
| 2 | CosyVoice3-instruct / EmotiVoice / VALL-E X 各 360 句（B 组含探针） | ~2 h |
| 3 | EmoSphere++（若检查点到位）→ EmoSphere-TTS | ~2 h |
| 4 | RA（CPU）+ arousal + CER 打分，成对准确率，主表主图 | ~1 h |
与 M21-F 共用卡 0，穿插在其阶段之间跑。