🟩最新收集於 30m

NVIDIA 將 Cosmos 3 Edge 帶入機器人控制

NVIDIA 將 Cosmos 3 Edge 帶入機器人控制
PostLinkedIn
🟩閱讀原文: NVIDIA Developer Blog

💡了解 NVIDIA 如何縮小世界模型,讓機器人能直接在邊緣硬體上執行控制。

⚡ 30-Second TL;DR

有什麼變化

Cosmos 3 Edge 專為在機器人機載運算硬體上執行控制策略而設計。

為什麼重要

更精簡的世界模型可讓複雜的機器人控制,在雲端連線受限或對延遲要求嚴格的情況下更具實用性。開發者可能因此獲得更適合邊緣部署的基礎,用於直接調整機器人行為。

下一步行動

使用具代表性的機器人感測器與任務資料集評估 NVIDIA Cosmos 3 Edge,並在目標機載硬體上測試控制策略的延遲與行為表現。

誰應關注:Developers & AI Engineers

關鍵要點

  • Cosmos 3 Edge 專為在機器人機載運算硬體上執行控制策略而設計。
  • 該模型是 NVIDIA Cosmos 3 系列中的 4B omni-model。
  • 模型內含 2B NVIDIA Nemotron-based reasoner,可支援適應性機器人控制。

🧠 深度解析

AI-generated analysis for this event.

🔑 增強重點摘要

  • Cosmos 3 Edge 採用了 NVIDIA 專有的 Tokenizer 技術,能夠將高維度的感測器數據(如視覺與觸覺)壓縮為低延遲的潛在空間表示。
  • 該模型支援多模態輸入,包括 RGB 攝影機、深度感測器以及機器人本體的本體感覺(Proprioception)數據,實現更精確的環境感知。
  • NVIDIA 在該模型中整合了針對邊緣運算優化的 TensorRT 加速引擎,確保在 Jetson 等嵌入式平台上能達到即時控制所需的推理速度。
  • Cosmos 3 Edge 採用了模仿學習(Imitation Learning)與強化學習(Reinforcement Learning)混合訓練架構,以提升在未見過環境中的泛化能力。
  • 該模型不僅限於單一機器人形態,透過其靈活的架構設計,可應用於機械手臂、移動式機器人(AMR)以及人形機器人等多種硬體平台。
📊 競品分析▸ Show
特性NVIDIA Cosmos 3 EdgeGoogle DeepMind RT-2Tesla Optimus AI
核心定位邊緣端即時控制視覺-語言-動作模型人形機器人專用模型
推理架構4B Omni-model (2B Reasoner)VLA (Vision-Language-Action)端到端神經網路
部署環境邊緣運算 (Jetson)雲端/邊緣混合專用硬體 (FSD Chip)
基準測試高即時性控制高語義理解能力高度專用化任務

🛠️ 技術深入

  • 模型架構:採用基於 Transformer 的架構,其中 2B Nemotron 推理器負責決策邏輯,其餘參數用於感測器數據處理與特徵提取。
  • 延遲表現:在 NVIDIA Jetson Orin 模組上,推理延遲控制在毫秒級別,滿足閉迴路控制需求。
  • 訓練數據:利用 NVIDIA Isaac Sim 進行大規模合成數據訓練,並結合少量真實世界機器人操作數據進行微調。
  • 輸出格式:直接輸出機器人的動作指令(如關節角度、末端執行器速度),而非僅僅是環境描述。

🔮 前景展望AI analysis grounded in cited sources

機器人開發週期將縮短 30% 以上。
Cosmos 3 Edge 的通用性減少了針對特定任務重新訓練模型的需求,開發者可直接部署預訓練策略。
邊緣 AI 運算需求將推動下一代 Jetson 硬體規格升級。
為了運行更複雜的 4B 參數模型,市場對具備更高 TOPS 算力的邊緣 AI 晶片需求將顯著增加。

時間線

2024-03
NVIDIA 發表 Project GR00T,旨在為人形機器人開發通用基礎模型。
2025-01
NVIDIA 推出 Cosmos 1 系列,初步展示多模態世界模型能力。
2026-05
NVIDIA 發布 Cosmos 3 基礎模型,大幅提升推理與感知精度。
2026-08
NVIDIA 正式推出 Cosmos 3 Edge,將模型能力下放至邊緣裝置。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: NVIDIA Developer Blog