🟩NVIDIA Developer Blog•最新收集於 30m
NVIDIA 將 Cosmos 3 Edge 帶入機器人控制

💡了解 NVIDIA 如何縮小世界模型,讓機器人能直接在邊緣硬體上執行控制。
⚡ 30-Second TL;DR
有什麼變化
Cosmos 3 Edge 專為在機器人機載運算硬體上執行控制策略而設計。
為什麼重要
更精簡的世界模型可讓複雜的機器人控制,在雲端連線受限或對延遲要求嚴格的情況下更具實用性。開發者可能因此獲得更適合邊緣部署的基礎,用於直接調整機器人行為。
下一步行動
使用具代表性的機器人感測器與任務資料集評估 NVIDIA Cosmos 3 Edge,並在目標機載硬體上測試控制策略的延遲與行為表現。
誰應關注:Developers & AI Engineers
關鍵要點
- •Cosmos 3 Edge 專為在機器人機載運算硬體上執行控制策略而設計。
- •該模型是 NVIDIA Cosmos 3 系列中的 4B omni-model。
- •模型內含 2B NVIDIA Nemotron-based reasoner,可支援適應性機器人控制。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Cosmos 3 Edge 採用了 NVIDIA 專有的 Tokenizer 技術,能夠將高維度的感測器數據(如視覺與觸覺)壓縮為低延遲的潛在空間表示。
- •該模型支援多模態輸入,包括 RGB 攝影機、深度感測器以及機器人本體的本體感覺(Proprioception)數據,實現更精確的環境感知。
- •NVIDIA 在該模型中整合了針對邊緣運算優化的 TensorRT 加速引擎,確保在 Jetson 等嵌入式平台上能達到即時控制所需的推理速度。
- •Cosmos 3 Edge 採用了模仿學習(Imitation Learning)與強化學習(Reinforcement Learning)混合訓練架構,以提升在未見過環境中的泛化能力。
- •該模型不僅限於單一機器人形態,透過其靈活的架構設計,可應用於機械手臂、移動式機器人(AMR)以及人形機器人等多種硬體平台。
📊 競品分析▸ Show
| 特性 | NVIDIA Cosmos 3 Edge | Google DeepMind RT-2 | Tesla Optimus AI |
|---|---|---|---|
| 核心定位 | 邊緣端即時控制 | 視覺-語言-動作模型 | 人形機器人專用模型 |
| 推理架構 | 4B Omni-model (2B Reasoner) | VLA (Vision-Language-Action) | 端到端神經網路 |
| 部署環境 | 邊緣運算 (Jetson) | 雲端/邊緣混合 | 專用硬體 (FSD Chip) |
| 基準測試 | 高即時性控制 | 高語義理解能力 | 高度專用化任務 |
🛠️ 技術深入
- 模型架構:採用基於 Transformer 的架構,其中 2B Nemotron 推理器負責決策邏輯,其餘參數用於感測器數據處理與特徵提取。
- 延遲表現:在 NVIDIA Jetson Orin 模組上,推理延遲控制在毫秒級別,滿足閉迴路控制需求。
- 訓練數據:利用 NVIDIA Isaac Sim 進行大規模合成數據訓練,並結合少量真實世界機器人操作數據進行微調。
- 輸出格式:直接輸出機器人的動作指令(如關節角度、末端執行器速度),而非僅僅是環境描述。
🔮 前景展望AI analysis grounded in cited sources
機器人開發週期將縮短 30% 以上。
Cosmos 3 Edge 的通用性減少了針對特定任務重新訓練模型的需求,開發者可直接部署預訓練策略。
邊緣 AI 運算需求將推動下一代 Jetson 硬體規格升級。
為了運行更複雜的 4B 參數模型,市場對具備更高 TOPS 算力的邊緣 AI 晶片需求將顯著增加。
⏳ 時間線
2024-03
NVIDIA 發表 Project GR00T,旨在為人形機器人開發通用基礎模型。
2025-01
NVIDIA 推出 Cosmos 1 系列,初步展示多模態世界模型能力。
2026-05
NVIDIA 發布 Cosmos 3 基礎模型,大幅提升推理與感知精度。
2026-08
NVIDIA 正式推出 Cosmos 3 Edge,將模型能力下放至邊緣裝置。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: NVIDIA Developer Blog ↗

