Hume AI 發布首個開源 TTS 模型 TADA

🔑 增強重點摘要

• •TADA 採用 1B 參數模型 (TADA-1B)，透過 flow-matching head 生成聲學特徵，並支援不同採樣步驟調整推論延遲與 TTS 效能。[1][4]
• •模型設計確保文字與音頻一對一映射，消除內容幻覺，並以 2–3 幀/秒運作，遠低於其他 LLM-TTS 的 12.5–75 令牌/秒。[1]
• •TADA 適合邊緣設備部署，提供低延遲隱私保護，且在相同 2048 令牌上下文下支援約 700 秒長音頻，適用長篇敘述與對話。[1]

🛠️ 技術深入

• •採用 Text-Acoustic Dual Alignment 標記化架構：輸入音頻經編碼器與對齊器提取每個文字令牌對應的聲學特徵；輸出使用 LLM 最終隱藏狀態作為條件向量，經 flow-matching head 生成聲學特徵後解碼成音頻，並回饋模型。[1]
• •嚴格一對一文字-音頻映射：每個 LLM 步驟對應單一文字令牌與單一音頻幀，運作於 2–3 幀/秒，實現 RTF 0.09（5x 快於同級 LLM-TTS）。[1]
• •TADA-1B 模型支援可變 flow matching 採樣步驟，影響推論延遲與 TTS 品質（如 arXiv 論文 Table 5 分析）。[1][4]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線