Dynin-Omni 遮罩擴散全模態模型

🔑 增強重點摘要

• •Omni-Diffusion 是首個完全基於遮罩離散擴散模型的 any-to-any 多模態語言模型，直接捕捉離散多模態 token 的聯合分佈[1][2]。
• •採用三階段漸進訓練管道，從預訓練擴散語言模型擴展至多模態理解與生成，並建構語音驅動視覺互動 (SDVI) 資料集支援複雜對話[1]。
• •模型支援無需額外微調的 inpainting，透過替換未知區域為 [MASK] token 生成內容，展現擴散模型在視覺任務的優勢[1]。
• •在多樣基準測試中，Omni-Diffusion 的效能優於或相當於現有自回歸多模態系統，證明擴散模型作為多模態基礎模型的潛力[2]。

🛠️ 技術深入

• •統一遮罩離散擴散模型：直接建模文字、語音、影像的離散多模態 token 聯合分佈，支持 bimodal 及多模態任務[1][2]。
• •訓練策略：三階段漸進訓練，從單模態擴展至多模態；建構 SDVI 資料集用於語音與視覺互動[1]。
• •推論創新：內建 inpainting 能力，替換輸入未知區域為 [MASK] token 進行生成，無需額外訓練資料[1]。
• •效能：在多模態基準上超越或匹敵自回歸方法，強調擴散模型的訓練穩定性與生成品質[1][2]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線