🟢較早收集於 30m

NVIDIA 強化 RTX 與 DGX 平台的本地 AI 代理能力

NVIDIA 強化 RTX 與 DGX 平台的本地 AI 代理能力
PostLinkedIn
🟢閱讀原文: NVIDIA Blog

💡了解如何直接在 NVIDIA 硬體上運行高效能、隱私優先的本地 AI 代理,而非依賴雲端。

⚡ 30-Second TL;DR

有什麼變化

針對 OpenClaw 與 Hermes 等開源 AI 代理進行本地執行優化。

為什麼重要

此舉降低了開發者部署高效能、注重隱私 AI 代理的門檻,無需完全依賴雲端 API。這將 NVIDIA 硬體定位為下一代自主本地代理的核心基礎設施。

下一步行動

探索 OpenClaw 或 Hermes 儲存庫,並嘗試在配備 RTX 的工作站上部署您自己的本地 AI 代理。

誰應關注:Developers & AI Engineers

關鍵要點

  • 針對 OpenClaw 與 Hermes 等開源 AI 代理進行本地執行優化。
  • 在 RTX 裝置上實現硬體加速的多步驟任務自動化。
  • 透過 DGX Spark 基礎設施提升本地運行代理的隱私與效能。

🧠 深度解析

Web-grounded analysis with 30 cited sources.

🔑 增強重點摘要

  • NVIDIA 推出 NVIDIA RTX Spark,這是一種專為個人代理設計的新型 Windows PC,提供 1 petaflop 的 AI 運算能力和 128GB 的統一記憶體,旨在滿足裝置上代理的運算需求。
  • NVIDIA 同步發布 NVIDIA OpenShell 運行時,該運行時將支援 Windows 平台,並基於 Microsoft 的新安全原語為代理提供安全的隔離沙盒,以強制執行基於策略的隱私和安全防護措施。
  • NVIDIA 的 NemoClaw 是一個開源參考堆疊,它將 OpenClaw 與 OpenShell 安全運行時和 NVIDIA Nemotron 模型捆綁在一起,簡化了安全、始終在線的 AI 助理的部署,並提供開箱即用的安全防護。
  • Hermes Agent 由 Nous Research 開發,以其自我改進能力而聞名,包括自主技能創建、在使用過程中自我改進技能,以及跨會話的記憶持久化,使其成為高度適應性和可靠的本地 AI 代理。
  • DGX Spark 搭載 NVIDIA GB10 Grace Blackwell Superchip,提供高達 1 petaFLOP 的 FP4 AI 性能和 128GB 的統一記憶體,能夠在本地運行高達 2000 億參數的模型進行推論,並可透過多節點擴展支援更大的模型。

🛠️ 技術深入

  • Hermes Agent 架構:採用模組化、事件驅動的架構,包含代理核心(決策引擎)、工具介面層、記憶體管理層、學習迴圈層、安全層和通訊層。其代理迴圈引擎支援互動模式、批次模式和排程模式,並具備技能系統,能透過強化學習自動創建和完善技能。Hermes Agent 基於五大支柱:記憶體(user.md + memory.md)、技能、靈魂、排程任務(crons)和自我改進迴圈。它設計為與供應商和模型無關,並針對始終在線的本地使用進行了優化。
  • OpenClaw 架構:遵循中心輻射式架構,以 Gateway(WebSocket 伺服器)作為使用者輸入(訊息平台、Web UI、CLI)與 AI 代理之間的控制平面。代理運行時(Agent Runtime)執行 AI 迴圈,管理上下文,調用模型,執行工具呼叫,並持久化狀態。它旨在使用者控制的基礎設施(筆記型電腦、VPS、Mac Mini)上運行,並且與模型無關。它採用分層的多代理方法,包含一個協調器(Orchestrator)和專門的子代理。
  • NVIDIA DGX Spark:由 NVIDIA GB10 Grace Blackwell Superchip 提供支援,提供高達 1 petaFLOP 的 FP4 AI 性能和 128GB 的統一記憶體。它支援在本地對高達 2000 億參數的模型進行推論,當兩個單元叢集時可支援高達 4050 億參數的模型。系統預裝了 NVIDIA AI 軟體堆疊。
  • NVIDIA RTX PC:專為本地 AI 優化,配備 Tensor Cores 以加速 AI 推論,提供更高的吞吐量和更低的延遲。Qwen 3.6 27B 和 35B 等特定模型已針對 RTX 進行優化,在 GeForce RTX 5090 上可實現高達 2 倍的吞吐量提升。NVIDIA OpenShell 運行時在 Windows 上利用新的 Microsoft 安全原語實現代理的隔離和安全。
  • NVIDIA Agent Toolkit / NemoClaw / OpenShell:NemoClaw 是一個開源參考堆疊,將 OpenClaw 與 OpenShell 和 Nemotron 模型捆綁在一起。OpenShell 是一個開源、安全設計的運行時,它為每個代理創建獨立的沙盒,並在系統層面而非依賴行為提示來強制執行基於策略的隱私和安全防護措施。NVIDIA NeMo Agent Toolkit 是一個開源 AI 函式庫,可為任何框架(如 LangChain、LlamaIndex、CrewAI 等)的 AI 代理增加智慧,透過儀器、可觀察性和持續學習來提高速度、準確性和決策能力。它包含 AI 編碼代理技能、Dynamo 運行時智慧和代理性能原語(APP)等功能,用於平行執行和推測性分支。NVIDIA CUDA-X 函式庫現在可作為領域特定技能供 AI 代理使用,以擴展代理能力。

🔮 前景展望AI analysis grounded in cited sources

本地AI代理的普及將顯著降低企業對雲端AI服務的依賴和相關成本。
透過NVIDIA RTX和DGX Spark等硬體在本地運行AI代理,企業能夠將敏感資料保留在內部,並避免持續的雲端API費用,從而實現成本控制和資料主權。
AI代理的安全性與隱私保護將成為未來AI平台發展的關鍵差異化因素。
隨著NVIDIA OpenShell等安全運行時的推出,提供沙盒化執行和系統級策略強制,將促使更多開發者和企業優先考慮具備強大安全機制的本地AI代理解決方案。
自我改進型AI代理(如Hermes)將加速個人化和企業級自動化任務的複雜度與效率。
Hermes Agent具備自主創建和改進技能、跨會話記憶持久化以及子代理委派等能力,使其能夠隨著時間的推移不斷學習和適應,從而處理更複雜、更個人化的多步驟工作流程。

時間線

2019-10
NVIDIA 強調邊緣運算的重要性,將 AI 推向資料源頭
2023-10
NVIDIA 宣布擴展其機器人平台,將生成式 AI 模型和微服務引入邊緣設備
2024-11
NVIDIA RTX AI PC 開始加速 AnythingLLM 等本地 AI 代理應用
2025-03
NVIDIA 推出 NeMo Agent Toolkit,一個用於構建、評估和優化 AI 代理的開源函式庫
2026-03
NVIDIA 推出 NemoClaw,一個為 OpenClaw 提供安全和隱私控制的開源堆疊,並整合 OpenShell 安全運行時
2026-06
NVIDIA 發布 NVIDIA RTX Spark,一種專為個人 AI 代理設計的新型 Windows PC,並將 OpenShell 運行時引入 Windows
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: NVIDIA Blog