NVIDIA Cosmos 擴充機器人合成資料

🔑 增強重點摘要

• •Cosmos 平台包含 Cosmos Reason 2（領先推理視覺語言模型）、Cosmos Transfer 2.5 和 Cosmos Predict 2.5，用於生成大規模合成影片並提升物理世界互動準確度。[2][3]
• •Cosmos 預訓練於網際網路規模影片、真實駕駛與機器人資料及 3D 模擬，具備生成、推理與軌跡預測等物理 AI 技能，可從單一影像產生逼真影片。[6]
• •Cosmos Transfer 可將 Omniverse 或 Isaac Sim 的 3D/空間輸入轉換為可控高保真影片，生成時間約 20 秒，並維持模擬器的物理準確性。[1][5]
• •Cosmos Policy 是後訓練於 Cosmos Predict-2 的新機器人控制策略，專注於操作任務。[9]
• •全球夥伴如 Salesforce、Franka Robotics 和 Caterpillar 已採用 Cosmos 與 GR00T 於交通、生產力和重型設備應用。[2][7]

🛠️ 技術深入

• •Cosmos Transfer 2.5：多控制模型，將 CARLA 或 NVIDIA Isaac Sim 等模擬框架的 3D/空間輸入轉為高保真影片，支持多環境與光照變化。[5]
• •Cosmos Predict 2.5：預測動態環境未來狀態，最長 30 秒高保真影片，用於機器人與 AI 代理規劃。[5]
• •Cosmos Reason 2：領先 VLM，提升機器人與代理在物理世界的感知、理解與互動準確度。[2]
• •Isaac GR00T N1.6：基於 Cosmos Reason 的開放 VLA 模型，實現人形機器人全身控制與物件操作。[2][3]
• •Cosmos Policy：後訓練 Cosmos Predict-2 的控制策略，專用於機器人操作任務。[9]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線