NVIDIA GTC Taipei: Shaping the Future of AI Infrastructure

🔑 增強重點摘要

•NVIDIA GTC Taipei 2026 不僅是 COMPUTEX 的一部分，更設有黃仁勳執行長的專題演講，並提供涵蓋實體 AI、工業 AI、模擬和半導體工作流程的專門議程，部分內容以繁體中文和英文提供，顯示其對區域市場的重視。
•NVIDIA 的 AI 工廠概念是一種專門的計算基礎設施，旨在優化整個 AI 生命週期，包括數據攝取、預處理、模型訓練、微調、推理和編排，並將能源、晶片、基礎設施、模型和應用程式這五個關鍵層統一整合。
•NVIDIA 推出了 Vera Rubin NVL72 平台，專為代理式 AI、推理和長上下文工作負載設計，並榮獲 COMPUTEX 2026 最佳選擇獎。當與 NVIDIA Groq 3 LPX 搭配使用時，它能為萬億參數模型提供高達 35 倍的每瓦吞吐量。
•NVIDIA Jetson Thor 搭載 Blackwell GPU 架構，榮獲 COMPUTEX 2026 金獎，被譽為實體 AI 和自主機器人領域最強大的邊緣 AI 計算平台，可提供高達 2,070 FP4 teraflops 的 AI 性能。
•NVIDIA 正將代理式 AI 擴展到機器人領域，透過「實體 AI 資料工廠藍圖」這一參考架構，統一訓練數據的生成、增強和評估流程，以加速自主系統的開發，並整合 Cosmos Curator、Cosmos Transfer 和 Cosmos Evaluator 等工具。

📊 競品分析▸ Show

競爭者	優勢	劣勢	備註
AMD (MI300X)	記憶體容量大 (192GB HBM3)，單晶片可容納更大模型；定價具競爭力，硬體規格與 NVIDIA H100 相當或超越。	軟體生態系統 (ROCm) 相對不成熟，在推理引擎支援、量化工具和框架兼容性方面落後 CUDA。	最直接的硬體挑戰者，但軟體成熟度是瓶頸。
Google (TPU)	專為 AI 工作負載設計的客製化 ASIC，在 Google Cloud 內表現強勁；雲端 TPU 成本效益高。	非通用型 GPU，主要在 Google 自家雲端環境中發揮優勢，不威脅 NVIDIA 更廣泛的市場地位。	專注於雲端 AI 基礎設施。
Intel (Gaudi 3)	專注於訓練效率，Gaudi 3 在每瓦性能方面有顯著提升；Gaudi 3 晶片訓練模型速度快 1.5 倍，輸出結果快 1.5 倍，且功耗低於 NVIDIA H100。	軟體生態系統仍需追趕 NVIDIA。	積極擴展 AI 硬體產品組合。
AWS (Trainium, Inferentia)	專為雲端 AI 基礎設施設計的客製化 AI 晶片；Trainium 針對訓練工作負載優化，Inferentia 專注於推理，提供高成本效益。	主要在 AWS 雲端環境中提供服務，不直接威脅 NVIDIA 的通用市場地位。	與 SageMaker 深度整合，簡化部署。
AI 晶片新創公司 (如 Groq, Cerebras)	Groq 的 LPU 晶片專為確定性、低延遲 LLM 推理設計；Cerebras 的晶圓級晶片擁有大規模片上記憶體，消除記憶體頻寬瓶頸。	專注於特定工作負載，通用性不如 NVIDIA GPU。	提供與 NVIDIA GPU 根本不同的架構。

🛠️ 技術深入

Blackwell 架構 (例如 Vera Rubin NVL72, Jetson Thor):
- 採用革命性的雙晶片設計，包含 2080 億個電晶體，使用台積電客製化的 4NP 製程製造。
- 兩個晶片透過 10 TB/s 的晶片間互連 (chip-to-chip interconnect) 連接，形成一個統一的單一 GPU 封裝，實現全快取一致性。
- 引入第五代 Tensor Cores，並原生支援 sub-8-bit 資料類型，包括新的 Open Compute Project (OCP) 定義的 MXFP6 和 MXFP4 微縮放格式，以提高低精度計算的效率和準確性。
- 搭載第二代 Transformer Engine，支援 FP4 浮點精度，可將性能和模型大小加倍，同時保持高準確度。
- GB200 NVL72 是一個機架級系統，連接 36 個 GB200 Grace Blackwell Superchips (包含 36 個 Grace CPU 和 72 個 Blackwell GPU)，提供 30 倍的萬億參數大型語言模型即時推理速度。
- 由於功耗增加至每 GPU 1kW，Blackwell 平台強制要求採用直接液冷解決方案。
Grace Hopper Superchip (GH200):
- 結合 NVIDIA Grace CPU 和 NVIDIA Hopper GPU，透過高頻寬的 NVLink-C2C 互連技術連接，提供高達 900 GB/s 的總頻寬。
- Grace CPU 包含多達 72 個 Arm Neoverse V2 核心和 512 GB 的 LPDDR5X 記憶體。
- Hopper GPU 具有多達 144 個 SMs 和第四代 Tensor Cores，以及 96 GB 的 HBM3 記憶體。
- 支援統一的程式設計模型，允許開發人員存取大量的記憶體，簡化異構計算應用程式的開發。
Isaac Sim (實體 AI 與機器人):
- 基於 NVIDIA Omniverse 庫構建的開源參考框架，用於在基於物理的虛擬環境中進行機器人模擬、測試和合成數據生成。
- 核心功能是高保真 GPU 加速的 PhysX 引擎，支援工業規模的多感測器 RTX 渲染。
- 能夠攝取來自 CAD、URDF 或真實世界捕獲的數據，並轉換為 OpenUSD 格式，用於構建模擬場景。
- 支援可控的合成數據生成 (NVIDIA Omniverse Replicator)，並與 Isaac Lab 結合用於機器人學習。
- 支援 ROS 和 ROS 2，並可透過軟體在環 (SIL) 或硬體在環 (HIL) 測試來訓練感知和移動堆疊。
代理式 AI 工作流程 (NVIDIA AI Enterprise, NIM, NeMo):
- 代理式 AI 代表從靜態管道到自主、有狀態工作流程的轉變，系統不再局限於單輪對話，而是長期運行、多步驟的代理圖，協調工具、記憶體和策略。
- NVIDIA AI Blueprints 和 NIM 微服務提供用於構建和部署客製化 AI 代理的框架，這些代理能夠推理、規劃和採取行動。
- 代理式 AI 工作流程的關鍵特性包括動態路由（代理自動選擇最佳模型和數據源）、持久上下文管理（使用虛擬工作區儲存和回憶數據集、程式碼和中間產物）和整合評估（內建評估工具以確保決策可審計）。
- NVIDIA NeMo Agent Toolkit 是一個開源 AI 庫，用於增強 AI 代理的速度、準確性和決策能力，並提供統一的監控和優化功能，支援 LangChain、Google ADK、CrewAI 等框架。

🔮 前景展望AI analysis grounded in cited sources

AI 工廠將成為企業部署生成式 AI 和代理式 AI 的標準模式。

NVIDIA 將 AI 工廠定義為優化整個 AI 生命週期的專用計算基礎設施，並提供 Blackwell 等硬體和 NVIDIA AI Enterprise 等軟體堆疊，推動其廣泛採用。

代理式 AI 將從數位工作流程擴展到實體機器人，實現更高度的自主協調和即時調整。

NVIDIA 透過「實體 AI 資料工廠藍圖」將代理式 AI 應用於機器人，使其能夠解釋感測器數據、規劃行動序列並在變化時即時調整，從而推動機器人從單一任務走向協調艦隊。

未來 AI 基礎設施將強制採用液冷技術，以應對 Blackwell 等新一代 GPU 日益增長的功耗和散熱需求。

Blackwell 架構的雙晶片設計導致其熱設計功耗高達 1kW，使得液冷成為資料中心部署的必要條件，而非可選方案。

⏳ 時間線

2009-09

首屆 GPU 技術大會 (GTC) 在聖荷西舉行，聚焦 GPU 計算。

2020-03

GTC 2020 因 COVID-19 疫情轉為數位活動，吸引約 59,000 名註冊者。

2022-11

NVIDIA 發布 Grace Hopper Superchip 架構的深入細節，結合 Grace CPU 和 Hopper GPU。

2024-03

NVIDIA 在 GTC 2024 正式宣布 Blackwell 架構，重點介紹 B100/B200 資料中心加速器。

2025-01

NVIDIA 推出代理式 AI 藍圖 (Agentic AI Blueprints)，協助企業建構和部署客製化 AI 代理。

2026-05

NVIDIA GTC Taipei 於 COMPUTEX 2026 登場，展示 AI 平台、實體 AI、AI 計算和 AI 基礎設施的最新突破。

NVIDIA GTC Taipei：塑造 AI 基礎設施的未來

⚡ 30-Second TL;DR

關鍵要點

🧠 深度解析

🔑 增強重點摘要

🛠️ 技術深入

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線

📎 來源 (35)

👉相關動態