跳转至

M19 Mock Test · DTW 对齐目标试听

训练开跑前的 GT 验收:基准 = Happy 的时间轴,把其余四情感的录音 warp 到 Happy 的节奏上。 DTW 之后的音频就是未来 v_B/v_x 的训练目标——α 端点的理想输出就长这样。 DTW 列用 WSOLA 锚点实现(pylibrb 的 keyframe 绑定有缺陷);「均匀 WSOLA」列用于分离引擎差异与节奏差异。

错位诊断(DTW 路径偏离均匀线的幅度;同时回答「双 adapter 的 ±40ms 容忍窗够不够」):

key 情感 中位 p90 最大
0001_text00084 Neutral 232ms 527ms 622ms
0001_text00084 Angry 60ms 110ms 139ms
0001_text00084 Sad 284ms 957ms 1153ms
0001_text00084 Surprise 175ms 432ms 555ms
0001_text00246 Neutral 68ms 134ms 159ms
0001_text00246 Angry 51ms 208ms 276ms
0001_text00246 Sad 36ms 78ms 138ms
0001_text00246 Surprise 46ms 117ms 147ms
0006_text00336 Neutral 42ms 79ms 237ms
0006_text00336 Angry 30ms 109ms 117ms
0006_text00336 Sad 23ms 108ms 219ms
0006_text00336 Surprise 46ms 72ms 84ms

0001_text00084 —— 「哪天我也许得和他谈谈。」

基准(Happy 原始):

源情感 原始 均匀 R3(现行目标) 均匀 WSOLA(引擎对照) DTW-WSOLA(新目标候选)
Neutral
Angry
Sad
Surprise

0001_text00246 —— 「是个冰淇淋,桃花确实很漂亮。」

基准(Happy 原始):

源情感 原始 均匀 R3(现行目标) 均匀 WSOLA(引擎对照) DTW-WSOLA(新目标候选)
Neutral
Angry
Sad
Surprise

0006_text00336 —— 「这可真不像是场英超比赛。」

基准(Happy 原始):

源情感 原始 均匀 R3(现行目标) 均匀 WSOLA(引擎对照) DTW-WSOLA(新目标候选)
Neutral
Angry
Sad
Surprise

讨论