M10 音频全量对照¶
M10 实验页 的配套听辨页。4 种情绪 × 3 句 × 7 个 α × 3 个模型 = 252 条,全部在此。
怎么读这张表
每一行是一个 \(\alpha\),每一列是一个模型。同一行的三条音频,除了 ckpt 之外全部相同 ——
同一句文本、同一条情感参考音频、同一个 LLM 随机种子、同一串 gen_token。
所以左右对拍听到的差异只可能来自训练方式。
\(\alpha\) 的含义:\(v_{\text{ctrl}} = v_{\text{neu}} + \alpha\,(v_{\text{emo}} - v_{\text{neu}})\)
- \(\alpha=0\) → 应当是中性(情感被完全关掉)
- \(\alpha=1\) → 应当是目标情绪的自然强度
- \(\alpha>1\) → 外推,比参考音频更强烈
每格音频下方两个数:emo = emotion2vec 对该目标情绪的后验(0=不像,1=像);
MOS = UTMOS 音质分(满分 5)。
两个必须知道的口径问题
emo几乎是二值的,挤在 0.000 与 1.000 两端,中间值极少,而且沿 \(\alpha\) 不单调。 它读出来的更像「分类器有没有被翻过去」,不是「情绪有多强」。 数字和你的耳朵冲突时,以耳朵为准 —— 这正是需要你听的原因(G1)。- 音频为节省带宽转成了 96 kbps 单声道 MP3(原始为 24 kHz WAV)。
三个模型用完全相同的编码参数,所以横向对比不受影响;
但绝对音质会比原始 WAV 略差,原始文件在
outputs/m10_eval/。
三个模型分别是什么¶
| 列 | ckpt | 训练方式 |
|---|---|---|
| v4 基线 | v4_epoch5.pt |
情感支与中性支的 token / \(t\) / 噪声 / \(x_t\) 四重不共享,长度不等时截断到较短的一支 |
| M10 λ=0.01 | m10_lam001 |
训推一致:共享 gen_token、共享 \(t\)、共享生成段噪声、中性目标经 DTW 对齐到情感时长(截断归零);保留正交正则 \(\lambda=0.01\) |
| M10 λ=0 | m10_lam0 |
同上,但关掉正交正则。与上一列构成 \(\mathcal{L}_{\text{ortho}}\) 的成对消融 |
高兴 · Happy¶
0001_text00010 —— 「不是,他住在沃斯盾的老房子里。」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 0.000 · MOS 3.83 |
emo 0.000 · MOS 2.79 |
emo 0.000 · MOS 2.33 |
| 0.25 | 内插 | emo 0.001 · MOS 3.53 |
emo 0.000 · MOS 2.72 |
emo 0.000 · MOS 2.77 |
| 0.50 | 内插 | emo 0.000 · MOS 1.66 |
emo 0.000 · MOS 2.51 |
emo 0.000 · MOS 2.42 |
| 0.75 | 内插 | emo 0.978 · MOS 2.73 |
emo 0.000 · MOS 3.15 |
emo 0.000 · MOS 2.89 |
| 1.00 | 情感端 | emo 0.004 · MOS 2.27 |
emo 0.000 · MOS 2.28 |
emo 0.000 · MOS 2.35 |
| 1.25 | 外推 | emo 0.001 · MOS 2.21 |
emo 0.000 · MOS 2.80 |
emo 0.000 · MOS 2.47 |
| 1.50 | 外推 | emo 0.624 · MOS 2.53 |
emo 0.007 · MOS 2.44 |
emo 0.000 · MOS 2.50 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.004 · λ=0.01 +0.000 · λ=0 +0.000
单调步比例:v4 0.50 · λ=0.01 0.67 · λ=0 0.67
0001_text00020 —— 「也许反倒是件好事」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 0.000 · MOS 4.08 |
emo 0.000 · MOS 3.86 |
emo 0.000 · MOS 3.56 |
| 0.25 | 内插 | emo 0.999 · MOS 3.22 |
emo 0.000 · MOS 2.76 |
emo 0.000 · MOS 2.75 |
| 0.50 | 内插 | emo 1.000 · MOS 1.82 |
emo 0.994 · MOS 2.18 |
emo 0.977 · MOS 2.27 |
| 0.75 | 内插 | emo 1.000 · MOS 3.02 |
emo 0.998 · MOS 2.94 |
emo 1.000 · MOS 2.84 |
| 1.00 | 情感端 | emo 1.000 · MOS 3.55 |
emo 1.000 · MOS 3.55 |
emo 1.000 · MOS 3.68 |
| 1.25 | 外推 | emo 1.000 · MOS 3.11 |
emo 1.000 · MOS 3.38 |
emo 1.000 · MOS 3.64 |
| 1.50 | 外推 | emo 1.000 · MOS 3.23 |
emo 1.000 · MOS 4.02 |
emo 1.000 · MOS 3.90 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +1.000 · λ=0.01 +1.000 · λ=0 +1.000
单调步比例:v4 1.00 · λ=0.01 1.00 · λ=0 1.00
0010_text00310 —— 「裁判全给了满分。」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 1.000 · MOS 3.44 |
emo 0.000 · MOS 2.52 |
emo 0.000 · MOS 3.12 |
| 0.25 | 内插 | emo 0.531 · MOS 3.50 |
emo 0.000 · MOS 2.78 |
emo 0.002 · MOS 2.63 |
| 0.50 | 内插 | emo 0.167 · MOS 1.42 |
emo 0.001 · MOS 1.92 |
emo 0.000 · MOS 1.95 |
| 0.75 | 内插 | emo 1.000 · MOS 2.90 |
emo 1.000 · MOS 2.59 |
emo 1.000 · MOS 2.49 |
| 1.00 | 情感端 | emo 1.000 · MOS 2.68 |
emo 1.000 · MOS 2.47 |
emo 1.000 · MOS 2.51 |
| 1.25 | 外推 | emo 1.000 · MOS 2.21 |
emo 1.000 · MOS 2.23 |
emo 1.000 · MOS 2.23 |
| 1.50 | 外推 | emo 1.000 · MOS 2.54 |
emo 1.000 · MOS 3.24 |
emo 0.998 · MOS 3.00 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.000 · λ=0.01 +1.000 · λ=0 +1.000
单调步比例:v4 0.67 · λ=0.01 0.83 · λ=0 0.67
生气 · Angry¶
0002_text00020 —— 「也许反倒是件好事」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 0.000 · MOS 3.84 |
emo 0.000 · MOS 3.44 |
emo 0.000 · MOS 3.45 |
| 0.25 | 内插 | emo 0.000 · MOS 3.22 |
emo 0.000 · MOS 3.16 |
emo 0.000 · MOS 3.14 |
| 0.50 | 内插 | emo 1.000 · MOS 1.63 |
emo 1.000 · MOS 2.15 |
emo 1.000 · MOS 2.07 |
| 0.75 | 内插 | emo 1.000 · MOS 2.74 |
emo 0.990 · MOS 2.63 |
emo 1.000 · MOS 2.95 |
| 1.00 | 情感端 | emo 1.000 · MOS 1.77 |
emo 1.000 · MOS 2.07 |
emo 1.000 · MOS 2.00 |
| 1.25 | 外推 | emo 1.000 · MOS 2.48 |
emo 1.000 · MOS 2.26 |
emo 1.000 · MOS 2.26 |
| 1.50 | 外推 | emo 1.000 · MOS 2.27 |
emo 1.000 · MOS 2.19 |
emo 1.000 · MOS 2.00 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +1.000 · λ=0.01 +1.000 · λ=0 +1.000
单调步比例:v4 0.67 · λ=0.01 0.83 · λ=0 1.00
0002_text00120 —— 「带女友出去好好吃上一顿。」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 0.271 · MOS 3.98 |
emo 0.000 · MOS 3.75 |
emo 0.000 · MOS 2.70 |
| 0.25 | 内插 | emo 0.000 · MOS 3.04 |
emo 0.000 · MOS 2.84 |
emo 0.000 · MOS 2.36 |
| 0.50 | 内插 | emo 0.000 · MOS 2.61 |
emo 0.000 · MOS 2.81 |
emo 0.000 · MOS 1.80 |
| 0.75 | 内插 | emo 0.691 · MOS 3.64 |
emo 0.002 · MOS 3.31 |
emo 0.000 · MOS 2.86 |
| 1.00 | 情感端 | emo 0.000 · MOS 2.35 |
emo 0.000 · MOS 2.82 |
emo 0.004 · MOS 2.38 |
| 1.25 | 外推 | emo 1.000 · MOS 2.92 |
emo 1.000 · MOS 3.25 |
emo 0.000 · MOS 3.75 |
| 1.50 | 外推 | emo 0.750 · MOS 3.07 |
emo 0.027 · MOS 3.54 |
emo 0.990 · MOS 2.77 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 -0.271 · λ=0.01 +0.000 · λ=0 +0.004
单调步比例:v4 0.33 · λ=0.01 0.67 · λ=0 0.67
0002_text00150 —— 「我们休息一下喝杯咖啡。」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 0.004 · MOS 4.01 |
emo 0.000 · MOS 3.20 |
emo 0.000 · MOS 3.65 |
| 0.25 | 内插 | emo 0.070 · MOS 3.64 |
emo 0.005 · MOS 3.47 |
emo 0.000 · MOS 3.19 |
| 0.50 | 内插 | emo 0.003 · MOS 1.60 |
emo 0.000 · MOS 1.96 |
emo 0.000 · MOS 2.22 |
| 0.75 | 内插 | emo 0.000 · MOS 3.06 |
emo 0.000 · MOS 2.97 |
emo 0.000 · MOS 3.09 |
| 1.00 | 情感端 | emo 0.000 · MOS 2.60 |
emo 0.000 · MOS 2.74 |
emo 0.003 · MOS 2.70 |
| 1.25 | 外推 | emo 0.059 · MOS 2.59 |
emo 0.002 · MOS 2.69 |
emo 0.141 · MOS 2.86 |
| 1.50 | 外推 | emo 0.000 · MOS 2.87 |
emo 0.000 · MOS 3.01 |
emo 0.000 · MOS 2.92 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 -0.004 · λ=0.01 +0.000 · λ=0 +0.003
单调步比例:v4 0.33 · λ=0.01 0.33 · λ=0 0.67
悲伤 · Sad¶
0001_text00290 —— 「真想不到,游泳竟有如此多的好处,」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 1.000 · MOS 3.40 |
emo 1.000 · MOS 2.11 |
emo 1.000 · MOS 2.59 |
| 0.25 | 内插 | emo 1.000 · MOS 3.29 |
emo 1.000 · MOS 1.85 |
emo 0.996 · MOS 2.05 |
| 0.50 | 内插 | emo 1.000 · MOS 1.56 |
emo 1.000 · MOS 1.54 |
emo 1.000 · MOS 1.54 |
| 0.75 | 内插 | emo 1.000 · MOS 2.06 |
emo 1.000 · MOS 2.05 |
emo 1.000 · MOS 2.04 |
| 1.00 | 情感端 | emo 1.000 · MOS 2.03 |
emo 1.000 · MOS 2.18 |
emo 1.000 · MOS 2.05 |
| 1.25 | 外推 | emo 1.000 · MOS 1.64 |
emo 1.000 · MOS 2.02 |
emo 1.000 · MOS 1.86 |
| 1.50 | 外推 | emo 1.000 · MOS 1.46 |
emo 1.000 · MOS 1.46 |
emo 1.000 · MOS 1.52 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.000 · λ=0.01 +0.000 · λ=0 +0.000
单调步比例:v4 1.00 · λ=0.01 0.83 · λ=0 0.83
0002_text00120 —— 「带女友出去好好吃上一顿。」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 0.998 · MOS 3.57 |
emo 0.000 · MOS 2.45 |
emo 0.000 · MOS 2.58 |
| 0.25 | 内插 | emo 1.000 · MOS 2.98 |
emo 1.000 · MOS 1.71 |
emo 1.000 · MOS 1.67 |
| 0.50 | 内插 | emo 1.000 · MOS 1.87 |
emo 0.566 · MOS 2.40 |
emo 0.013 · MOS 2.27 |
| 0.75 | 内插 | emo 1.000 · MOS 2.84 |
emo 1.000 · MOS 2.92 |
emo 1.000 · MOS 2.84 |
| 1.00 | 情感端 | emo 1.000 · MOS 3.17 |
emo 0.000 · MOS 3.61 |
emo 0.000 · MOS 3.57 |
| 1.25 | 外推 | emo 1.000 · MOS 3.14 |
emo 1.000 · MOS 3.79 |
emo 1.000 · MOS 3.86 |
| 1.50 | 外推 | emo 1.000 · MOS 2.60 |
emo 1.000 · MOS 3.37 |
emo 1.000 · MOS 2.78 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.002 · λ=0.01 +0.000 · λ=0 +0.000
单调步比例:v4 0.83 · λ=0.01 0.67 · λ=0 0.67
0009_text00160 —— 「我们休息一下喝杯咖啡。」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 0.000 · MOS 3.99 |
emo 0.000 · MOS 3.98 |
emo 0.000 · MOS 3.75 |
| 0.25 | 内插 | emo 0.000 · MOS 4.11 |
emo 0.000 · MOS 4.05 |
emo 0.000 · MOS 3.96 |
| 0.50 | 内插 | emo 0.000 · MOS 3.63 |
emo 0.000 · MOS 3.51 |
emo 0.000 · MOS 3.47 |
| 0.75 | 内插 | emo 0.264 · MOS 3.70 |
emo 0.000 · MOS 3.69 |
emo 0.000 · MOS 3.64 |
| 1.00 | 情感端 | emo 1.000 · MOS 3.31 |
emo 0.820 · MOS 3.50 |
emo 0.940 · MOS 3.39 |
| 1.25 | 外推 | emo 0.735 · MOS 3.64 |
emo 0.000 · MOS 4.10 |
emo 0.000 · MOS 4.01 |
| 1.50 | 外推 | emo 1.000 · MOS 3.52 |
emo 1.000 · MOS 3.99 |
emo 0.375 · MOS 4.16 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +1.000 · λ=0.01 +0.820 · λ=0 +0.940
单调步比例:v4 0.67 · λ=0.01 0.67 · λ=0 0.67
惊讶 · Surprise¶
0001_text00230 —— 「我非常支持人们走进太空。」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 0.000 · MOS 3.77 |
emo 0.000 · MOS 3.49 |
emo 0.000 · MOS 3.46 |
| 0.25 | 内插 | emo 0.000 · MOS 4.15 |
emo 0.000 · MOS 2.89 |
emo 0.011 · MOS 3.61 |
| 0.50 | 内插 | emo 0.000 · MOS 2.36 |
emo 0.014 · MOS 2.67 |
emo 1.000 · MOS 2.91 |
| 0.75 | 内插 | emo 0.000 · MOS 4.04 |
emo 0.000 · MOS 3.90 |
emo 0.090 · MOS 3.48 |
| 1.00 | 情感端 | emo 0.995 · MOS 3.54 |
emo 0.989 · MOS 3.74 |
emo 1.000 · MOS 3.34 |
| 1.25 | 外推 | emo 1.000 · MOS 3.37 |
emo 0.978 · MOS 3.49 |
emo 0.997 · MOS 4.23 |
| 1.50 | 外推 | emo 1.000 · MOS 3.43 |
emo 1.000 · MOS 3.83 |
emo 1.000 · MOS 3.79 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.995 · λ=0.01 +0.989 · λ=0 +1.000
单调步比例:v4 0.67 · λ=0.01 0.67 · λ=0 0.67
0008_text00230 —— 「我知道人生并不总是一帆风顺,」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 0.037 · MOS 3.07 |
emo 0.000 · MOS 3.45 |
emo 0.000 · MOS 2.95 |
| 0.25 | 内插 | emo 0.737 · MOS 3.39 |
emo 0.000 · MOS 3.16 |
emo 0.000 · MOS 2.96 |
| 0.50 | 内插 | emo 1.000 · MOS 1.59 |
emo 0.974 · MOS 1.61 |
emo 0.000 · MOS 1.95 |
| 0.75 | 内插 | emo 1.000 · MOS 3.56 |
emo 1.000 · MOS 3.49 |
emo 0.967 · MOS 3.16 |
| 1.00 | 情感端 | emo 0.756 · MOS 3.02 |
emo 1.000 · MOS 3.06 |
emo 1.000 · MOS 2.85 |
| 1.25 | 外推 | emo 0.065 · MOS 3.10 |
emo 1.000 · MOS 3.16 |
emo 1.000 · MOS 3.18 |
| 1.50 | 外推 | emo 0.098 · MOS 2.66 |
emo 1.000 · MOS 2.70 |
emo 1.000 · MOS 2.83 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.720 · λ=0.01 +1.000 · λ=0 +1.000
单调步比例:v4 0.50 · λ=0.01 0.50 · λ=0 1.00
0009_text00200 —— 「我支持你。它是需要重做。」¶
| \(\alpha\) | 预期 | v4 基线 | M10 λ=0.01 | M10 λ=0 |
|---|---|---|---|---|
| 0.00 | 中性端 | emo 0.000 · MOS 3.94 |
emo 0.000 · MOS 3.61 |
emo 0.000 · MOS 3.93 |
| 0.25 | 内插 | emo 0.998 · MOS 3.32 |
emo 0.000 · MOS 2.67 |
emo 0.000 · MOS 2.44 |
| 0.50 | 内插 | emo 0.017 · MOS 2.69 |
emo 0.215 · MOS 1.95 |
emo 1.000 · MOS 2.38 |
| 0.75 | 内插 | emo 1.000 · MOS 3.44 |
emo 1.000 · MOS 3.67 |
emo 0.999 · MOS 2.51 |
| 1.00 | 情感端 | emo 1.000 · MOS 2.80 |
emo 1.000 · MOS 2.89 |
emo 1.000 · MOS 3.16 |
| 1.25 | 外推 | emo 1.000 · MOS 2.84 |
emo 1.000 · MOS 3.10 |
emo 1.000 · MOS 2.84 |
| 1.50 | 外推 | emo 1.000 · MOS 2.65 |
emo 1.000 · MOS 3.09 |
emo 1.000 · MOS 2.67 |
\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +1.000 · λ=0.01 +1.000 · λ=0 +1.000
单调步比例:v4 0.50 · λ=0.01 0.67 · λ=0 0.67