跳转至

M10 音频全量对照

M10 实验页 的配套听辨页。4 种情绪 × 3 句 × 7 个 α × 3 个模型 = 252 条,全部在此。

怎么读这张表

每一行是一个 \(\alpha\),每一列是一个模型。同一行的三条音频,除了 ckpt 之外全部相同 —— 同一句文本、同一条情感参考音频、同一个 LLM 随机种子、同一串 gen_token。 所以左右对拍听到的差异只可能来自训练方式。

\(\alpha\) 的含义:\(v_{\text{ctrl}} = v_{\text{neu}} + \alpha\,(v_{\text{emo}} - v_{\text{neu}})\)

  • \(\alpha=0\) → 应当是中性(情感被完全关掉)
  • \(\alpha=1\) → 应当是目标情绪的自然强度
  • \(\alpha>1\) → 外推,比参考音频更强烈

每格音频下方两个数:emo = emotion2vec 对该目标情绪的后验(0=不像,1=像); MOS = UTMOS 音质分(满分 5)。

两个必须知道的口径问题

  1. emo 几乎是二值的,挤在 0.000 与 1.000 两端,中间值极少,而且沿 \(\alpha\) 不单调。 它读出来的更像「分类器有没有被翻过去」,不是「情绪有多强」。 数字和你的耳朵冲突时,以耳朵为准 —— 这正是需要你听的原因(G1)。
  2. 音频为节省带宽转成了 96 kbps 单声道 MP3(原始为 24 kHz WAV)。 三个模型用完全相同的编码参数,所以横向对比不受影响; 但绝对音质会比原始 WAV 略差,原始文件在 outputs/m10_eval/。

三个模型分别是什么

列 ckpt 训练方式
v4 基线 v4_epoch5.pt 情感支与中性支的 token / \(t\) / 噪声 / \(x_t\) 四重不共享,长度不等时截断到较短的一支
M10 λ=0.01 m10_lam001 训推一致:共享 gen_token、共享 \(t\)、共享生成段噪声、中性目标经 DTW 对齐到情感时长(截断归零);保留正交正则 \(\lambda=0.01\)
M10 λ=0 m10_lam0 同上,但关掉正交正则。与上一列构成 \(\mathcal{L}_{\text{ortho}}\) 的成对消融

高兴 · Happy

0001_text00010 —— 「不是,他住在沃斯盾的老房子里。」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 0.000 · MOS 3.83

emo 0.000 · MOS 2.79

emo 0.000 · MOS 2.33
0.25 内插
emo 0.001 · MOS 3.53

emo 0.000 · MOS 2.72

emo 0.000 · MOS 2.77
0.50 内插
emo 0.000 · MOS 1.66

emo 0.000 · MOS 2.51

emo 0.000 · MOS 2.42
0.75 内插
emo 0.978 · MOS 2.73

emo 0.000 · MOS 3.15

emo 0.000 · MOS 2.89
1.00 情感端
emo 0.004 · MOS 2.27

emo 0.000 · MOS 2.28

emo 0.000 · MOS 2.35
1.25 外推
emo 0.001 · MOS 2.21

emo 0.000 · MOS 2.80

emo 0.000 · MOS 2.47
1.50 外推
emo 0.624 · MOS 2.53

emo 0.007 · MOS 2.44

emo 0.000 · MOS 2.50

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.004 · λ=0.01 +0.000 · λ=0 +0.000
单调步比例:v4 0.50 · λ=0.01 0.67 · λ=0 0.67

0001_text00020 —— 「也许反倒是件好事」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 0.000 · MOS 4.08

emo 0.000 · MOS 3.86

emo 0.000 · MOS 3.56
0.25 内插
emo 0.999 · MOS 3.22

emo 0.000 · MOS 2.76

emo 0.000 · MOS 2.75
0.50 内插
emo 1.000 · MOS 1.82

emo 0.994 · MOS 2.18

emo 0.977 · MOS 2.27
0.75 内插
emo 1.000 · MOS 3.02

emo 0.998 · MOS 2.94

emo 1.000 · MOS 2.84
1.00 情感端
emo 1.000 · MOS 3.55

emo 1.000 · MOS 3.55

emo 1.000 · MOS 3.68
1.25 外推
emo 1.000 · MOS 3.11

emo 1.000 · MOS 3.38

emo 1.000 · MOS 3.64
1.50 外推
emo 1.000 · MOS 3.23

emo 1.000 · MOS 4.02

emo 1.000 · MOS 3.90

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +1.000 · λ=0.01 +1.000 · λ=0 +1.000
单调步比例:v4 1.00 · λ=0.01 1.00 · λ=0 1.00

0010_text00310 —— 「裁判全给了满分。」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 1.000 · MOS 3.44

emo 0.000 · MOS 2.52

emo 0.000 · MOS 3.12
0.25 内插
emo 0.531 · MOS 3.50

emo 0.000 · MOS 2.78

emo 0.002 · MOS 2.63
0.50 内插
emo 0.167 · MOS 1.42

emo 0.001 · MOS 1.92

emo 0.000 · MOS 1.95
0.75 内插
emo 1.000 · MOS 2.90

emo 1.000 · MOS 2.59

emo 1.000 · MOS 2.49
1.00 情感端
emo 1.000 · MOS 2.68

emo 1.000 · MOS 2.47

emo 1.000 · MOS 2.51
1.25 外推
emo 1.000 · MOS 2.21

emo 1.000 · MOS 2.23

emo 1.000 · MOS 2.23
1.50 外推
emo 1.000 · MOS 2.54

emo 1.000 · MOS 3.24

emo 0.998 · MOS 3.00

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.000 · λ=0.01 +1.000 · λ=0 +1.000
单调步比例:v4 0.67 · λ=0.01 0.83 · λ=0 0.67


生气 · Angry

0002_text00020 —— 「也许反倒是件好事」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 0.000 · MOS 3.84

emo 0.000 · MOS 3.44

emo 0.000 · MOS 3.45
0.25 内插
emo 0.000 · MOS 3.22

emo 0.000 · MOS 3.16

emo 0.000 · MOS 3.14
0.50 内插
emo 1.000 · MOS 1.63

emo 1.000 · MOS 2.15

emo 1.000 · MOS 2.07
0.75 内插
emo 1.000 · MOS 2.74

emo 0.990 · MOS 2.63

emo 1.000 · MOS 2.95
1.00 情感端
emo 1.000 · MOS 1.77

emo 1.000 · MOS 2.07

emo 1.000 · MOS 2.00
1.25 外推
emo 1.000 · MOS 2.48

emo 1.000 · MOS 2.26

emo 1.000 · MOS 2.26
1.50 外推
emo 1.000 · MOS 2.27

emo 1.000 · MOS 2.19

emo 1.000 · MOS 2.00

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +1.000 · λ=0.01 +1.000 · λ=0 +1.000
单调步比例:v4 0.67 · λ=0.01 0.83 · λ=0 1.00

0002_text00120 —— 「带女友出去好好吃上一顿。」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 0.271 · MOS 3.98

emo 0.000 · MOS 3.75

emo 0.000 · MOS 2.70
0.25 内插
emo 0.000 · MOS 3.04

emo 0.000 · MOS 2.84

emo 0.000 · MOS 2.36
0.50 内插
emo 0.000 · MOS 2.61

emo 0.000 · MOS 2.81

emo 0.000 · MOS 1.80
0.75 内插
emo 0.691 · MOS 3.64

emo 0.002 · MOS 3.31

emo 0.000 · MOS 2.86
1.00 情感端
emo 0.000 · MOS 2.35

emo 0.000 · MOS 2.82

emo 0.004 · MOS 2.38
1.25 外推
emo 1.000 · MOS 2.92

emo 1.000 · MOS 3.25

emo 0.000 · MOS 3.75
1.50 外推
emo 0.750 · MOS 3.07

emo 0.027 · MOS 3.54

emo 0.990 · MOS 2.77

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 -0.271 · λ=0.01 +0.000 · λ=0 +0.004
单调步比例:v4 0.33 · λ=0.01 0.67 · λ=0 0.67

0002_text00150 —— 「我们休息一下喝杯咖啡。」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 0.004 · MOS 4.01

emo 0.000 · MOS 3.20

emo 0.000 · MOS 3.65
0.25 内插
emo 0.070 · MOS 3.64

emo 0.005 · MOS 3.47

emo 0.000 · MOS 3.19
0.50 内插
emo 0.003 · MOS 1.60

emo 0.000 · MOS 1.96

emo 0.000 · MOS 2.22
0.75 内插
emo 0.000 · MOS 3.06

emo 0.000 · MOS 2.97

emo 0.000 · MOS 3.09
1.00 情感端
emo 0.000 · MOS 2.60

emo 0.000 · MOS 2.74

emo 0.003 · MOS 2.70
1.25 外推
emo 0.059 · MOS 2.59

emo 0.002 · MOS 2.69

emo 0.141 · MOS 2.86
1.50 外推
emo 0.000 · MOS 2.87

emo 0.000 · MOS 3.01

emo 0.000 · MOS 2.92

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 -0.004 · λ=0.01 +0.000 · λ=0 +0.003
单调步比例:v4 0.33 · λ=0.01 0.33 · λ=0 0.67


悲伤 · Sad

0001_text00290 —— 「真想不到,游泳竟有如此多的好处,」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 1.000 · MOS 3.40

emo 1.000 · MOS 2.11

emo 1.000 · MOS 2.59
0.25 内插
emo 1.000 · MOS 3.29

emo 1.000 · MOS 1.85

emo 0.996 · MOS 2.05
0.50 内插
emo 1.000 · MOS 1.56

emo 1.000 · MOS 1.54

emo 1.000 · MOS 1.54
0.75 内插
emo 1.000 · MOS 2.06

emo 1.000 · MOS 2.05

emo 1.000 · MOS 2.04
1.00 情感端
emo 1.000 · MOS 2.03

emo 1.000 · MOS 2.18

emo 1.000 · MOS 2.05
1.25 外推
emo 1.000 · MOS 1.64

emo 1.000 · MOS 2.02

emo 1.000 · MOS 1.86
1.50 外推
emo 1.000 · MOS 1.46

emo 1.000 · MOS 1.46

emo 1.000 · MOS 1.52

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.000 · λ=0.01 +0.000 · λ=0 +0.000
单调步比例:v4 1.00 · λ=0.01 0.83 · λ=0 0.83

0002_text00120 —— 「带女友出去好好吃上一顿。」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 0.998 · MOS 3.57

emo 0.000 · MOS 2.45

emo 0.000 · MOS 2.58
0.25 内插
emo 1.000 · MOS 2.98

emo 1.000 · MOS 1.71

emo 1.000 · MOS 1.67
0.50 内插
emo 1.000 · MOS 1.87

emo 0.566 · MOS 2.40

emo 0.013 · MOS 2.27
0.75 内插
emo 1.000 · MOS 2.84

emo 1.000 · MOS 2.92

emo 1.000 · MOS 2.84
1.00 情感端
emo 1.000 · MOS 3.17

emo 0.000 · MOS 3.61

emo 0.000 · MOS 3.57
1.25 外推
emo 1.000 · MOS 3.14

emo 1.000 · MOS 3.79

emo 1.000 · MOS 3.86
1.50 外推
emo 1.000 · MOS 2.60

emo 1.000 · MOS 3.37

emo 1.000 · MOS 2.78

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.002 · λ=0.01 +0.000 · λ=0 +0.000
单调步比例:v4 0.83 · λ=0.01 0.67 · λ=0 0.67

0009_text00160 —— 「我们休息一下喝杯咖啡。」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 0.000 · MOS 3.99

emo 0.000 · MOS 3.98

emo 0.000 · MOS 3.75
0.25 内插
emo 0.000 · MOS 4.11

emo 0.000 · MOS 4.05

emo 0.000 · MOS 3.96
0.50 内插
emo 0.000 · MOS 3.63

emo 0.000 · MOS 3.51

emo 0.000 · MOS 3.47
0.75 内插
emo 0.264 · MOS 3.70

emo 0.000 · MOS 3.69

emo 0.000 · MOS 3.64
1.00 情感端
emo 1.000 · MOS 3.31

emo 0.820 · MOS 3.50

emo 0.940 · MOS 3.39
1.25 外推
emo 0.735 · MOS 3.64

emo 0.000 · MOS 4.10

emo 0.000 · MOS 4.01
1.50 外推
emo 1.000 · MOS 3.52

emo 1.000 · MOS 3.99

emo 0.375 · MOS 4.16

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +1.000 · λ=0.01 +0.820 · λ=0 +0.940
单调步比例:v4 0.67 · λ=0.01 0.67 · λ=0 0.67


惊讶 · Surprise

0001_text00230 —— 「我非常支持人们走进太空。」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 0.000 · MOS 3.77

emo 0.000 · MOS 3.49

emo 0.000 · MOS 3.46
0.25 内插
emo 0.000 · MOS 4.15

emo 0.000 · MOS 2.89

emo 0.011 · MOS 3.61
0.50 内插
emo 0.000 · MOS 2.36

emo 0.014 · MOS 2.67

emo 1.000 · MOS 2.91
0.75 内插
emo 0.000 · MOS 4.04

emo 0.000 · MOS 3.90

emo 0.090 · MOS 3.48
1.00 情感端
emo 0.995 · MOS 3.54

emo 0.989 · MOS 3.74

emo 1.000 · MOS 3.34
1.25 外推
emo 1.000 · MOS 3.37

emo 0.978 · MOS 3.49

emo 0.997 · MOS 4.23
1.50 外推
emo 1.000 · MOS 3.43

emo 1.000 · MOS 3.83

emo 1.000 · MOS 3.79

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.995 · λ=0.01 +0.989 · λ=0 +1.000
单调步比例:v4 0.67 · λ=0.01 0.67 · λ=0 0.67

0008_text00230 —— 「我知道人生并不总是一帆风顺,」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 0.037 · MOS 3.07

emo 0.000 · MOS 3.45

emo 0.000 · MOS 2.95
0.25 内插
emo 0.737 · MOS 3.39

emo 0.000 · MOS 3.16

emo 0.000 · MOS 2.96
0.50 内插
emo 1.000 · MOS 1.59

emo 0.974 · MOS 1.61

emo 0.000 · MOS 1.95
0.75 内插
emo 1.000 · MOS 3.56

emo 1.000 · MOS 3.49

emo 0.967 · MOS 3.16
1.00 情感端
emo 0.756 · MOS 3.02

emo 1.000 · MOS 3.06

emo 1.000 · MOS 2.85
1.25 外推
emo 0.065 · MOS 3.10

emo 1.000 · MOS 3.16

emo 1.000 · MOS 3.18
1.50 外推
emo 0.098 · MOS 2.66

emo 1.000 · MOS 2.70

emo 1.000 · MOS 2.83

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +0.720 · λ=0.01 +1.000 · λ=0 +1.000
单调步比例:v4 0.50 · λ=0.01 0.50 · λ=0 1.00

0009_text00200 —— 「我支持你。它是需要重做。」

\(\alpha\) 预期 v4 基线 M10 λ=0.01 M10 λ=0
0.00 中性端
emo 0.000 · MOS 3.94

emo 0.000 · MOS 3.61

emo 0.000 · MOS 3.93
0.25 内插
emo 0.998 · MOS 3.32

emo 0.000 · MOS 2.67

emo 0.000 · MOS 2.44
0.50 内插
emo 0.017 · MOS 2.69

emo 0.215 · MOS 1.95

emo 1.000 · MOS 2.38
0.75 内插
emo 1.000 · MOS 3.44

emo 1.000 · MOS 3.67

emo 0.999 · MOS 2.51
1.00 情感端
emo 1.000 · MOS 2.80

emo 1.000 · MOS 2.89

emo 1.000 · MOS 3.16
1.25 外推
emo 1.000 · MOS 2.84

emo 1.000 · MOS 3.10

emo 1.000 · MOS 2.84
1.50 外推
emo 1.000 · MOS 2.65

emo 1.000 · MOS 3.09

emo 1.000 · MOS 2.67

\(\Delta\) = emo(α=1.5) − emo(α=0):v4 +1.000 · λ=0.01 +1.000 · λ=0 +1.000
单调步比例:v4 0.50 · λ=0.01 0.67 · λ=0 0.67


讨论