騰訊開源世界模型強化學習框架 WorldCompass

🔑 增強重點摘要

• •WorldCompass 引入剪輯級 rollout 策略，在單一目標剪輯生成多個樣本，提升 rollout 效率並提供細粒度獎勵信號。
• •框架設計互補獎勵函數，同時監督互動遵循準確度和視覺品質，有效抑制獎勵駭客行為。
• •應用於 WorldPlay 模型，在長視野和不同動作複雜度情境下顯著提升互動準確度和視覺保真度。
• •支援連續+離散動作空間，結合即時延遲與長程一致性，適用第一人稱和第三人稱視角。

🛠️ 技術深入

• •核心創新包括：1) 剪輯級 rollout 策略，在單一目標剪輯生成並評估多樣本，提高效率並提供細粒度獎勵；2) 互補獎勵函數，分別針對互動遵循準確度和視覺品質；3) 高效 RL 演算法，使用 negative-aware fine-tuning 策略結合效率優化提升模型容量。
• •基於自迴歸視頻生成範式，模型 π_θ(x_n | x_{1:n-1}, a_n, c) 生成未來狀態，條件於歷史觀測、使用者動作和提示。
• •評估於 WorldPlay (2025)，改善短/長程持續時間及基本/複合動作的互動準確度和視覺品質。
• •WorldPlay 記憶機制：時間記憶（近期幀確保運動連續性）和空間記憶（基於 FOV 重疊和相機距離採樣非相鄰幀），使用時間重構重新分配位置編碼。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線