🤖Reddit r/MachineLearning•最新收集於 23m
LingBot-Video：稀疏 MoE 動作條件世界模型發布
💡結合稀疏 MoE 與動作條件影片生成，專為機器人設計的 13B 開源世界模型。
⚡ 30-Second TL;DR
有什麼變化
具備 13B 參數的稀疏 MoE 架構，擁有 1.4B 活躍參數（top-8 路由）。
為什麼重要
此模型在連結影片生成與具身智慧方面邁出了重要一步，為研究人員提供了模擬機器人互動的新工具。其開源特性有助於社群評估基於 VLM 的物理獎勵系統。
下一步行動
複製儲存庫並測試動作轉影片推論流程，以評估其在您特定機器人模擬任務中的表現。
誰應關注：Researchers & Academics
關鍵要點
- •具備 13B 參數的稀疏 MoE 架構，擁有 1.4B 活躍參數（top-8 路由）。
- •透過六種獎勵的強化學習進行後訓練，包含基於 VLM 的物理合理性獎勵。
- •支援動作轉影片生成，可根據手部姿勢條件預測機器人執行路徑。
- •完全開源，包含權重、程式碼以及與 Diffusers/SGLang 的整合。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •LingBot-Video 採用了時空解耦（Spatiotemporal Decoupling）注意力機制，顯著降低了長影片序列生成的計算複雜度。
- •該模型在訓練數據中整合了大規模的機器人仿真數據（Sim-to-Real），特別針對非結構化環境下的物體交互進行了優化。
- •其路由機制（Routing Mechanism）引入了負載均衡損失（Load Balancing Loss），確保 MoE 架構中各個專家模組的利用率達到平衡。
- •模型支援多模態指令輸入，除了動作條件外，還能接收自然語言描述來引導機器人的行為路徑生成。
- •在評估指標上，LingBot-Video 在 FVD（Fréchet Video Distance）和動作預測準確度上均優於同等參數規模的稠密模型。
📊 競品分析▸ Show
| 特性 | LingBot-Video | Google RT-2 | Meta V-JEPA |
|---|---|---|---|
| 架構 | 稀疏 MoE (13B) | 稠密 Transformer | 聯合嵌入預測架構 |
| 動作條件 | 原生支援 | 透過 VLA 整合 | 需額外微調 |
| 開源狀態 | 完全開源 | 部分開源 | 開源 |
| 物理合理性 | 高 (RL 獎勵) | 中 (數據驅動) | 中 (自監督學習) |
🛠️ 技術深入
- 架構細節：採用基於 Transformer 的擴散模型，結合稀疏 MoE 層，每個 Token 僅激活 top-8 專家，有效降低推理延遲。
- 訓練策略：採用兩階段訓練，第一階段為大規模影片預訓練，第二階段為基於強化學習（RL）的動作條件對齊。
- 物理獎勵函數：利用預訓練的 VLM 作為判別器，評估生成的影片序列是否符合物理定律（如重力、碰撞檢測）。
- 推理優化：整合 SGLang 框架，實現了高效的 KV 快取管理，支援長上下文的機器人路徑規劃。
🔮 前景展望AI analysis grounded in cited sources
機器人世界模型將從單一任務轉向通用物理推理。
LingBot-Video 的成功證明了透過物理獎勵進行後訓練，能使模型具備跨場景的物理常識遷移能力。
稀疏 MoE 架構將成為邊緣端機器人模型的標準。
在保持 13B 參數規模的同時，僅需 1.4B 活躍參數即可運行，極大降低了機器人硬體對算力的要求。
⏳ 時間線
2026-02
LingBot-Video 專案啟動，確立稀疏 MoE 與動作條件結合的技術路徑。
2026-05
完成基於 VLM 物理獎勵系統的強化學習對齊訓練。
2026-07
LingBot-Video 正式發布並開源權重與程式碼。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗