NVIDIA Unveils New Physical AI Agent Skills at CVPR

•NVIDIA 此次發表的全新實體 AI 代理技能是開源的，並作為 NVIDIA Agent Toolkit 的一部分提供，允許 AI 代理直接調用 NVIDIA 的函式庫、模型和框架，以加速開發流程。
•這些代理技能的應用範圍超越了自動駕駛和機器人，擴展到視覺 AI 和工業數位孿生領域，旨在轉變製造、醫療保健和交通運輸等行業的工作流程。
•NVIDIA 正將其整個實體 AI 堆疊（包括 Omniverse、Isaac、Cosmos、Metropolis、Alpamayo 和 Jetson）優化為可由 AI 代理直接調用的工具。
•NVIDIA DRIVE Sim 平台利用其神經重建引擎（Neural Reconstruction Engine），透過 AI 將錄製的真實世界影片數據轉換為動態的 3D 數位孿生環境，以生成多樣化的場景和資產。
•Isaac Sim 整合了 Isaac Lab，這是一個 GPU 加速的開源機器人學習框架，支援強化學習，能夠同時在數千個平行環境中進行訓練，將數月的真實世界學習壓縮到數天內完成。

基礎平台： 這些技能建立在 NVIDIA Omniverse 之上，利用 OpenUSD 實現 3D 資料互通性。
模擬引擎： 採用 NVIDIA PhysX 進行高擬真、GPU 加速的多物理場模擬，並利用 NVIDIA RTX 實現基於物理的即時光線追蹤和路徑追蹤渲染。
合成數據生成： 整合 NVIDIA Omniverse Replicator，用於生成合成數據，包括具備真實噪音模型的精確感測器模擬（如攝影機、光達和接觸感測器）。
機器人學習： 與 Isaac Lab 整合，這是一個 GPU 加速的開源機器人學習框架，支援強化學習、模仿學習和運動規劃，可在數千個平行環境中進行訓練。
自動駕駛模擬： DRIVE Sim 運用神經重建引擎，將真實世界的影片數據轉換為動態的 3D 數位孿生環境，用於場景生成和測試。
代理工具包： 新技能是 NVIDIA Agent Toolkit 的一部分，將 NVIDIA 的函式庫、模型和框架（如 Cosmos、Omniverse、Isaac、Metropolis、Alpamayo 和 Jetson）轉化為可由代理調用的工具。
API 與擴展性： Isaac Sim 提供靈活的 C++ 和 Python API，並基於 Omniverse Kit 構建，這是一個可擴展的模擬框架。它還支援 ROS 和 ROS 2 整合。
部署： 支援軟體在環 (SIL) 和硬體在環 (HIL) 測試，並可部署到 NVIDIA Jetson 等邊緣硬體。

物理 AI 系統的開發將大幅加速，降低成本與複雜性。

NVIDIA 透過開源代理工具與技能，將複雜的工作流程轉化為可由 AI 代理執行的任務，從而加速數據生成、模擬、訓練、評估和部署。

AI 代理將從純軟體領域擴展到更複雜的物理世界任務協調。

NVIDIA 的發布標誌著業界將 AI 代理從程式碼編寫和文件摘要等軟體操作，推向管理實體世界中多步驟技術流程的能力。

數位孿生技術的應用將在製造、交通和醫療等產業中變得更加普及和高效。

這些新的代理技能和工具支援工業數位孿生、自動駕駛和機器人技術，使企業能夠在虛擬環境中模擬和優化複雜的物理系統。

2006

NVIDIA 推出 CUDA，為 GPU 加速計算和 AI 的興起奠定基礎。

2021-04

NVIDIA DRIVE Sim Powered by Omniverse 開放早期存取，將自動駕駛模擬基礎從遊戲引擎轉向專用模擬引擎。

2022-09

NVIDIA DRIVE Sim 整合 Neural Reconstruction Engine，利用 AI 將真實世界影片數據轉化為動態 3D 數位孿生環境。

2023

NVIDIA 推出 Project GR00T，旨在開發人形機器人的基礎 AI 模型。

2026-01

NVIDIA 在 CES 2026 推出一套新的開源物理 AI 模型和框架，加速人形機器人、自動駕駛車輛和其他物理 AI 實體的開發。

2026-06

NVIDIA 於 CVPR (GTC Taipei/Computex) 發表全新開源實體 AI 代理技能與工具，將其 AI 堆疊轉化為可由代理呼叫的工具。

NVIDIA 於 CVPR 發表全新實體 AI 代理技能