🟩較早收集於 30m

NVIDIA Vera CPU 提升 AI 工廠效能與效率

NVIDIA Vera CPU 提升 AI 工廠效能與效率
PostLinkedIn
🟩閱讀原文: NVIDIA Developer Blog
#ai-factories#high-bandwidth#compute-efficiencynvidia-vera-cpunvidiavera-cpu

💡NVIDIA Vera CPU 解除 GPU 峰值下的 AI 工廠頻寬瓶頸

⚡ 30-Second TL;DR

有什麼變化

針對 AI 工作負載優化高效能

為什麼重要

Vera CPU 讓 AI 工廠無需比例擴大基礎設施即可應對權杖需求增長,提升模型開發者生產力。它補足 GPU 在大規模 AI 系統中的 CPU 瓶頸。

下一步行動

針對 AI 叢集頻寬需求,基準測試 NVIDIA Vera CPU 與現有方案比較。

誰應關注:Developers & AI Engineers

關鍵要點

  • 針對 AI 工作負載優化高效能
  • 卓越頻寬解除系統吞吐量限制
  • 提升 AI 工廠權杖產出擴展效率
  • 因應推理模型演進需求

🧠 深度解析

背景與延伸:來自公開資料,非原文內容。引用 6 個來源。

🔑 增強重點摘要

  • Vera Rubin 的 TDP 已升級至 2.3 kW,相比 Blackwell 的 1.2 kW 增加近一倍,但系統級效率改進抵消了原始功耗增加,數據中心需要重大基礎設施升級以支持大規模部署[1][3]
  • Vera CPU 搭載 88 個自訂 Olympus ARM 核心,支援空間多線程技術產生 176 個執行緒,是首款原生支援 FP8 精度的 CPU,性能約為前代 Grace CPU 的兩倍[1][2]
  • Vera Rubin NVL72 系統在 FP4 推理性能上達到 3.6 ExaFLOPS,相比 Blackwell Ultra 的 1.44 ExaFLOPS 提升 2.5 倍,單 GPU 推理性能達 50 PFLOPS[4]
  • HBM4 記憶體頻寬升級至 22.2 TB/s,較先前公告的 13 TB/s 提升 70%,直接解決大規模 AI 工作負載中資料移動的瓶頸問題[3]
  • NVLink-C2C 互連頻寬翻倍至 1.8 TB/s,在 NVL72 配置中提供 260 TB/s 的聚合互連頻寬,運行速度為 PCIe Gen 6 的七倍[3][4]
📊 競品分析▸ Show

|規格|Vera Rubin NVL72|Blackwell Ultra (GB300 NVL72)|AMD Instinct MI455X| |--|--|--| |GPU 數量|72 個 Rubin GPU|72 個 Blackwell Ultra GPU|未公開| |CPU 核心數|88 個 Olympus 核心 × 36 CPU|72 個 ARM 核心 × 36 CPU|未公開| |FP4 推理性能|3.6 ExaFLOPS|1.44 ExaFLOPS|未公開| |單 GPU 推理性能|50 PFLOPS|20 PFLOPS|未公開| |記憶體頻寬|22.2 TB/s|未明確公開|未公開| |TDP|~2.3 kW|~1.2 kW|未公開| |推出時間|2026 年下半年|已推出|2026 年下半年預計| |互連頻寬|1.8 TB/s (NVLink-C2C)|900 GB/s|未公開|

🛠️ 技術深入

Vera CPU 架構:88 個自訂 Olympus ARM 核心,基於 Armv9.2 指令集,支援完整 ARM 相容性[2][5]空間多線程 (Spatial Multithreading):每個核心物理分割資源而非時間切片,產生 176 個執行緒,可在執行時最佳化效能或密度[2]記憶體子系統:支援最高 1.5 TB LPDDR5X 記憶體,記憶體功耗低於 50W,頻寬 1.2 TB/s,較前代提升 2 倍以上[2]Rubin GPU 計算引擎:採用 TSMC 3nm 製程,336 億個電晶體分佈於兩個晶圓尺寸計算晶粒和兩個 I/O 晶粒[1]NVLink-C2C 互連:第六代 NVLink 達 3.6 TB/s 單 GPU 頻寬,NVL72 配置聚合頻寬 260 TB/s[3]精度支援:首款原生支援 FP8 精度的 CPU,推理 FP4 達 50 PFLOPS,訓練 FP4 達 35 PFLOPS[1]可信計算:支援完整機密計算功能和 NVIDIA 可擴展一致性架構 (SCF)[2]系統設計:採用「極端共設計」方法,將資料中心而非單一晶片視為計算單位,模組化無纜盤設計提升可靠性和可維護性[4]

🔮 前景展望AI analysis grounded in cited sources

資料中心基礎設施升級成為部署瓶頸
2.3 kW 的 TDP 近乎 Blackwell 的兩倍,儘管系統效率改進,絕對功耗仍是大規模部署的實質限制,需要電力、冷卻和機架設計的重大投資[1][3]
記憶體頻寬成為 AI 推理擴展的關鍵競爭優勢
22.2 TB/s 的 70% 升幅直接針對大規模 AI 工作負載中資料移動瓶頸,表明未來 AI 系統效能將由記憶體頻寬而非純計算能力主導[3]
雲端服務商將全面採用 Vera Rubin 架構
NVIDIA CFO 預期「每家雲端模型建構商都將部署 Vera Rubin」,反映該架構在商業 AI 工廠中的預期主導地位[6]

時間線

2026-01
NVIDIA 在 CES 2026 推出 Vera Rubin 架構,展示六晶片統一系統設計
2026-03
NVIDIA 向客戶交付首批 Vera Rubin 樣品,確認規格鎖定在 2.3 kW TDP 和 22.2 TB/s 記憶體頻寬
2026-03
NVIDIA CFO 在財報電話會議中確認 Vera Rubin NVL72 已進入生產階段,計畫於下半年開始量產出貨
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: NVIDIA Developer Blog

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。