IndexTTS2 是一個突破性的自回歸語音合成模型，由 Bilibili（嗶哩嗶哩）開發(fā)，旨在解決大規(guī)模文本到語音（TTS）系統(tǒng)中精確時長控制和情感表達的挑戰(zhàn)。該模型在多個方面實現(xiàn)了創(chuàng)新，包括情感與音色的解耦、精確的時長控制、以及基于自然語言的情感控制等。

• IndexTTS2官網(wǎng)入口網(wǎng)址：https://github.com/index-tts/index-tts
• IndexTTS2中文介紹：鏈接

IndexTTS2 的核心優(yōu)勢在于其能夠?qū)崿F(xiàn)情感與說話人身份的解耦，用戶可以獨立控制音色和情感，從而實現(xiàn)更靈活、細膩的語音合成。此外，該模型支持多種情感控制方式，包括使用情感參考音頻、情感向量控制、情感描述文本控制等。在技術(shù)實現(xiàn)上，IndexTTS2 采用了自回歸架構(gòu)，并結(jié)合了 GPT 潛在表示和三階段訓練策略，以提升語音生成的穩(wěn)定性和情感表達的準確性。

IndexTTS2 在多個基準測試中表現(xiàn)出色，包括詞錯誤率、說話人相似度和情感保真度等方面均優(yōu)于現(xiàn)有模型。該模型還支持多種生成模式，包括固定時長模式和自由時長模式，以滿足不同應用場景的需求。

IndexTTS2 是一個在語音合成領域具有重要突破的模型，其在情感表達、時長控制和可控性方面均達到了高水平，為 AI 配音和語音合成技術(shù)的發(fā)展提供了重要支持。