NVIDIA Launches Cosmos 3 Open Omni-model for Physical AI

•NVIDIA Cosmos 3 採用突破性的變壓器混合架構，將視覺推理、世界生成和動作預測整合到單一系統中，旨在實現物理世界的感知、推理、規劃和行動能力。
•它是全球首個完全開源的全能模型，能夠原生理解並生成文字、圖像、影片、環境聲音和動作，並具有領先的物理精確度，顯著將實體AI的訓練和評估週期從數月縮短至數天。
•Cosmos 3 能夠為機器人生成數值動作數據，例如關節角度、抓取器位置和軌跡點，使其能夠執行複雜的物理任務，而不僅僅是處理圖像或影片。
•該模型在多個視覺推理、文字轉圖像、圖像轉世界和世界動作生成排行榜上，於開源模型中名列前茅，展現了其在物理AI領域的領先能力。
•Cosmos 3 透過 Linux Foundation 的 OpenMDW 1.1 許可證發布，允許開發者訓練、修改、貢獻、重新分發和部署模型權重、架構、文檔、數據集、基準和程式碼。

模型架構: 採用突破性的變壓器混合架構（mixture-of-transformers architecture），將推理變壓器與專家生成變壓器配對。
多模態能力: 能夠原生理解和生成文字、圖像、影片、環境聲音和動作。
物理精確度: 具備領先的物理精確度，能夠理解物體互動、運動和時空關係，然後生成影片和動作軌跡。
訓練數據: 透過包含數十億個文字、圖像、影片、聲音和動作軌跡樣本的多模態物理AI數據集進行訓練。
輸出類型: 可生成數值動作數據，如關節角度、抓取器位置和軌跡點，以指導機器人完成任務。
部署選項: 開發者可在 build.nvidia.com 試用 Cosmos 3，從 Hugging Face 下載開源模型，使用 Hugging Face Diffusers 和 GitHub 資源自訂模型，並透過 NVIDIA NIM 微服務進行部署。
版本: 提供 Cosmos 3 Super 和 Cosmos 3 Nano 版本，Cosmos 3 Edge 版本將很快推出，用於即時推論。

Cosmos 3 將加速實體AI在機器人、自動駕駛車輛和智慧空間中的廣泛應用。

該模型透過縮短訓練和評估週期，並提供理解、預測和行動的能力，降低了開發和部署實體AI系統的門檻。

開源發布將促進具身智慧領域的協作創新和標準化。

透過開放權重、架構和數據集，Cosmos 3 鼓勵全球開發者社群共同改進和擴展實體AI技術。

NVIDIA 將進一步鞏固其作為實體AI生態系統核心平台提供商的地位。

透過提供從硬體（如 Jetson 系列）到軟體（Isaac Sim、Cosmos 3、NIM 微服務）的完整堆疊解決方案，NVIDIA 成為開發智慧機器的基礎設施驅動者。

2018-06

NVIDIA 推出 Isaac 機器人開發平台，為機器人開發、訓練和驗證奠定基礎。

2022-11-22

NVIDIA 推出 MinDojo，一個具有網路規模知識的開源具身智慧代理框架。

2023-10

NVIDIA 在 GTC 大會上推出 Eureka，一個利用生成式 AI 和強化學習自動生成和優化機器人獎勵函數的系統。

2024-02

NVIDIA 成立通用具身代理研究（GEAR）實驗室，專注於為虛擬和物理世界的具身代理構建基礎模型。

2025-10-29

NVIDIA 宣布 Isaac GROOT N1 為「世界上第一個開放式人形機器人基礎模型」，並與 Isaac Sim 和新的 Cosmos 物理引擎整合。

2026-06-01

NVIDIA 發布 Cosmos 3，一個用於實體 AI 的開源全能模型。

NVIDIA 發布用於實體 AI 的開源全能模型 Cosmos 3