IndexTTS2：情感表达和持续时间控制的自回归零镜头文本转语音的突破

用户4242

2025年7月16日修改

大规模文本转语音 （TTS） 模型通常分为自回归和非自回归系统。尽管自回归系统在语音自然性方面表现出一定的优势，但它们的逐个标记生成机制使得很难精确控制合成语音的持续时间。这在视频配音等需要严格音视频同步的应用中成为一个重大限制。本文介绍了 IndexTTS2，它提出了一种新颖的、通用的、对自回归模型友好的语音持续时间控制方法。该方法支持两种生成模式：一种允许显式指定生成的标记数量，从而可以精确控制语音持续时间;另一个不需要手动标记计数输入，让模型以自回归方式自由生成语音，同时忠实地再现输入提示中的韵律特征。此外，IndexTTS2 实现了情感表达和说话人身份之间的解开，实现了对音色和情感的独立控制。在零镜头设置中，该模型能够完美地再现输入提示中固有的情感特征。此外，用户可以提供单独的情绪提示（可以来自与音色提示不同的说话人），从而使模型能够在传达指定情绪音调的同时准确重建目标音色。为了在强烈的情绪表达中提高语音的清晰度，我们加入了 GPT 潜在表示，以提高生成语音的稳定性。同时，为了降低情绪控制的门槛，我们通过微调 Qwen3 设计了一种基于文本描述的软指令机制。 这有助于通过自然语言输入有效地指导具有所需情感倾向的语音生成。最后，在多个数据集上的实验结果表明，IndexTTS2 在单词错误率、说话人相似性和情感保真度方面优于现有的最先进的零样本 TTS 模型。为了促进进一步的研究并促进实际采用，我们将发布模型权重和推理代码，使社区能够复制和构建我们的工作。​

50%

✏️

•
1 可控性：具有可调语音持续时间的零脉冲TTS​

•
2 可控性：零镜头TTS，具有情感表达语音​
◦
2.1 使用相同的提示符​
◦
2.2 使用不同的提示符​
◦
2.3 使用文本描述​

•
3 零样本TTS与其他TTS的比较（开源数据）​
◦
3.1 单语语音合成​

1 可控性：具有可调语音持续时间的零脉冲TTS

IndexTTS2 首次在自回归 TTS 模型中实现了对语音持续时间的精确控制。 本节演示了模型在 duration-controlled synthesis 中的能力，其中为每个测试用例指定了三个不同的目标 durations。由于缺乏具有可比持续时间控制能力的现有自回归 TTS 模型，我们采用非自回归模型作为这部分的基线。​

音频提示	文本	GroundTruth公司	Model	音频（duration0.75x)	音频（duration1.0x)	音频（duration1.25x)
prompt	执行此作所需的设备包括岩石锯和抛光机。	gt	指数 TTS2	indextts2_943_gt0.75	indextts2_943_gt	indextts2_943_gt1.25
						掩码 GCT	maskgct_943_gt0.75	maskgct_943_gt	maskgct_943_gt1.25
						F5-TTS	f5_943_gt0.75	f5_943_gt	f5_943_gt1.25
prompt (1)	这个国家没有葡萄酒，这个年轻人说。	gt (1)	指数 TTS2	indextts2_1037_gt0.75	indextts2_1037_gt	indextts2_1037_gt1.25
						掩码 GCT	maskgct_1037_gt0.75	maskgct_1037_gt	maskgct_1037_gt1.25
						F5-TTS	f5_1037_gt0.75	f5_1037_gt	f5_1037_gt1.25
prompt (2)	只有当科技为本地社群创造价值的时候，才真正有意义。	gt (2)	指数 TTS2	indextts2_289_gt0.75	indextts2_289_gt	indextts2_289_gt1.25
						掩码 GCT	maskgct_289_gt0.75	maskgct_289_gt	maskgct_289_gt1.25
						F5-TTS	f5_289_gt0.75	f5_289_gt	f5_289_gt1.25
prompt (3)	类推可用于颠覆惯性思维，以便为新的创意开路。	gt (3)	指数 TTS2	indextts2_319_gt0.75	indextts2_319_gt	indextts2_319_gt1.25

IndexTTS2：情感表达和持续时间控制的自回归零镜头文本转语音的突破​

IndexTTS2：情感表达和持续时间控制的自回归零镜头文本转语音的突破