🐯虎嗅•最新收集於 19m
MOSS團隊轉型：專注端到端多模態語音AI
💡了解 MOSS 團隊為何放棄純文本模型，轉向端到端語音以解決實時交互延遲問題。
⚡ 30-Second TL;DR
有什麼變化
從純文本大模型轉向端到端語音優先的多模態模型，以降低延遲並減少信息丟失。
為什麼重要
通過專注於端到端語音處理，該團隊旨在解決傳統級聯式（ASR-LLM-TTS）架構中固有的延遲與情感細節缺失問題，可能為 AI 硬體集成樹立新的標準。
下一步行動
在為硬體構建實時交互式 AI 代理時，評估端到端語音模型與級聯式架構在性能上的權衡。
誰應關注：Developers & AI Engineers
關鍵要點
- •從純文本大模型轉向端到端語音優先的多模態模型，以降低延遲並減少信息丟失。
- •開發「情境智能」，使模型能感知物理環境、情緒及說話人身份。
- •產品線涵蓋 MOSS-Transcribe-Diarize、MOSS-Video-Preview 及 MOSS-TTS。
- •採取用戶導向的開發模式，根據實際場景需求（如時延、性能）反推模型架構與訓練方案。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •模思智能（MOSS團隊）的核心技術路徑採用了原生端到端（Native End-to-End）架構，旨在繞過傳統語音識別（ASR）與文本生成（LLM）分離的級聯模式，從而實現毫秒級的交互響應。
- •該團隊在情境智能的實踐中，引入了多模態對齊技術，使模型能夠在處理語音流的同時，同步解析視頻幀中的空間關係與物體交互，而非僅僅是音頻轉文本。
- •模思智能的商業化策略側重於邊緣側部署，針對低功耗設備優化了模型參數，以適應移動端設備對實時語音交互的嚴苛算力限制。
- •團隊成員背景深厚，核心研發人員多來自復旦大學自然語言處理實驗室（FudanNLP），具備早期大模型開源與訓練的技術積累。
- •模思智能目前已與部分智能硬體廠商達成合作，將其語音交互模型嵌入至穿戴式設備中，進行真實場景下的數據閉環迭代。
📊 競品分析▸ Show
| 特性 | 模思智能 (MOSS) | OpenAI (GPT-4o) | 阿里通義實驗室 (Qwen-Audio) |
|---|---|---|---|
| 核心架構 | 原生端到端語音模型 | 原生多模態模型 | 級聯/多模態混合 |
| 延遲表現 | 極低（針對邊緣側優化） | 低（雲端處理） | 中（取決於部署方式） |
| 應用場景 | 邊緣側、實時交互 | 通用、複雜推理 | 專業領域、多媒體分析 |
| 商業模式 | 軟硬體集成/API | 訂閱制/API | 開源/雲服務 |
🛠️ 技術深入
- 採用了基於 Transformer 的語音編碼器，直接處理原始波形（Raw Waveform）或高維音頻特徵，避免了傳統 ASR 的中間文本表示。
- 引入了跨模態對齊層（Cross-modal Alignment Layer），將音頻特徵空間與視覺特徵空間映射至統一的語義向量空間。
- 針對語音交互中的「打斷」與「重疊」現象，設計了專門的流式注意力機制（Streaming Attention Mechanism），確保模型能實時感知用戶的語氣變化與情緒轉折。
- 模型訓練採用了大規模合成數據與真實場景數據混合的策略，特別強化了在嘈雜環境下的語音分離與識別能力。
🔮 前景展望AI analysis grounded in cited sources
端到端語音模型將取代傳統級聯式語音助手架構
原生端到端架構在降低延遲與保留語音情感信息方面具有顯著優勢，符合未來人機交互對自然度的高要求。
邊緣側AI將成為語音交互技術的下一個競爭高地
隱私保護與實時性需求推動模型向終端設備遷移，模思智能的輕量化策略將使其在硬體市場佔據先機。
⏳ 時間線
2023-02
復旦大學團隊發布國內首個類ChatGPT模型 MOSS 並開啟內測
2023-04
MOSS 模型正式開源，推動國內大模型技術生態發展
2024-09
MOSS 核心團隊完成轉型，正式成立模思智能公司
2025-06
模思智能發布首個端到端多模態語音交互原型系統
2026-03
模思智能推出 MOSS-Video-Preview 多模態理解模型
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 虎嗅 ↗