Mistral 推出開放權重 Voxtral TTS 擊敗 ElevenLabs

🔑 增強重點摘要

• •Voxtral TTS 採用了 Mistral 自研的『流式音頻壓縮技術』（Streaming Audio Compression），該技術能顯著降低推理時的記憶體佔用，使其在邊緣裝置（如手機）上運行時，功耗比傳統 Transformer 模型低 40%。
• •該模型支援多語言零樣本（Zero-shot）語音克隆，且在訓練數據中特別強化了對非英語語系的語調與情感表達，解決了過往開放權重模型在非英語環境下語音生硬的問題。
• •Mistral 透過與硬體廠商合作，針對 NVIDIA Jetson 與 Apple Silicon 晶片進行了底層算子優化（Kernel Optimization），確保 Voxtral 在這些特定架構上能達到極致的低延遲表現。

🛠️ 技術深入

• •架構基礎：基於 Ministral 3B 的解碼器架構，並引入了專門的音頻潛在空間（Audio Latent Space）投影層。
• •神經編解碼器：整合了 Mistral 自研的輕量級神經音頻編解碼器，支援 24kHz 高保真採樣率，並在壓縮比與音質之間取得了平衡。
• •推理優化：利用量化感知訓練（Quantization-Aware Training）技術，原生支援 4-bit 與 8-bit 量化，無需額外校準即可保持高語音品質。
• •端到端管道：與 Voxtral Transcribe 共享相同的音頻特徵提取器，實現了語音轉語音（Speech-to-Speech）的低延遲循環。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線