🖥️較早收集於 10m

Nvidia 推出 Rubin GPU 與 Vera CPU

Nvidia 推出 Rubin GPU 與 Vera CPU
PostLinkedIn
🖥️閱讀原文: Computerworld
#tokenomics#ai-factories#inferencerubin-gpus-&-vera-cpusnvidiarubinveragroq

💡Nvidia 晶片 350 倍 token 生成躍升,重塑開發者 AI 基礎設施經濟。(48字)

⚡ 30-Second TL;DR

有什麼變化

AI 令牌定位為工程師預算與招募的商品。

為什麼重要

這將 AI 經濟轉向基於 token 指標,迫使企業確保運算容量。開發者獲 token 福利提升 10 倍生產力,推論焦點降低相對於訓練的門檻。

下一步行動

基準測試 Groq 融合 Rubin GPU 以實現推論工作負載 350 倍 token 產出。

誰應關注:Developers & AI Engineers

關鍵要點

  • AI 令牌定位為工程師預算與招募的商品。
  • Rubin GPU 與 Vera CPU 搭配 Groq 晶片,將 token 速率從 2200 萬提升至 7 億。
  • AI 工廠在電力限制下優化每瓦 token。
  • 強調推論擴展,成本預期下降。

🧠 深度解析

背景與延伸:來自公開資料,非原文內容。引用 8 個來源。

🔑 增強重點摘要

  • Vera CPU 採用 88 個自訂 Olympus 核心,每核心支援 NVIDIA Spatial Multithreading,可同時執行兩個任務,提供 176 個執行緒,並為首款支援 FP8 精度的 CPU[1][3][4]
  • Vera CPU 具備第二代 Scalable Coherency Fabric (SCF),提供 3.4 TB/s bisection 頻寬,每核心最高 14 GB/s 記憶體頻寬,單一核心最高可達 80 GB/s[1][2]
  • Vera Rubin NVL72 平台整合 72 個 Rubin GPU 與 36 個 Vera CPU,透過 NVLink-C2C 提供 1.8 TB/s 相干頻寬,比 PCIe Gen 6 高 7 倍[3][4][5]
  • Vera CPU 機架支援 256 個液冷 CPU、400 TB LPDDR5 記憶體與 300 TB/s 總頻寬,可同時運行 22,500 個獨立 CPU 環境[1][2][6]
📊 競品分析▸ Show
特徵NVIDIA Vera CPUx86 競爭對手 (AMD/Intel)
核心數/執行緒88 核心 / 176 執行緒未指定
記憶體頻寬/核心平均 13.6 GB/s,最高 80 GB/s平均 ~4.5 GB/s (Grace 世代比為 3x)
沙盒效能1.5x 性能/沙盒基準
記憶體容量最高 1.5 TB LPDDR5X/插槽未指定
效率2x 效率,50% 更快基準

🛠️ 技術深入

  • 88 個 Olympus 核心:Armv9.2 相容,具 10-wide 指令解碼單元、神經分支預測器 (每週期兩分支)、PyTorch 優化指令緩衝區與圖形資料庫預取引擎[1]
  • 記憶體子系統:1.2 TB/s 頻寬 (LPDDR5X),容量達 1.5 TB/插槽,功耗減半,比前代 Grace 增加 3x 容量與 2x 頻寬[1][2][4]
  • 第二代 SCF:連接所有核心至共享 L3 快取與記憶體,3.4 TB/s bisection 頻寬,負載下維持 90% 峰值頻寬[2]
  • 平台整合:Vera Rubin NVL72 含 72 Rubin GPU、36 Vera CPU、ConnectX-9 SuperNIC 與 BlueField-4 DPU;Vera CPU 機架含 256 CPU、74 Bluefield-4 DPU[1][4][5]
  • 其他支援:PCIe 6.0、CXL 3.1、NVLink-C2C (1.8 TB/s),專為代理 AI、RL 與高頻寬工作負載設計[1][3]

🔮 前景展望AI analysis grounded in cited sources

Vera CPU 將加速代理 AI 與 RL 規模化部署
其高單執行緒效能、巨量記憶體頻寬與低延遲設計,能同時支援 22,500 個代理沙盒環境,提升 AI 工廠效率[2][6]
NVIDIA 平台將降低大型 MoE 模型訓練 GPU 需求 4 倍
Vera Rubin NVL72 相較 Blackwell 平台,使用較少 GPU 即可訓練模型,並提供 10x 每瓦推論吞吐量與 1/10 每 token 成本[5]
生態系合作將加速 Vera 採用
80 家合作夥伴支援 MGX 架構,Supermicro 等廠商推出 Vera 系統,Cursor 等軟體創新者採用以提升 AI 代理效能[3][8]

時間線

2024-03
NVIDIA 發布 Grace CPU 作為 Vera 前代,72 核心 Arm 架構奠基 AI 資料中心 CPU 基礎
2025-03
GTC 2025 宣布 Rubin GPU 與下一代平台計畫,為 Vera Rubin 系列鋪路
2026-03
GTC 2026 Jensen Huang 推出 Rubin GPU、Vera CPU 與 Groq 融合,提升 token 生成率 350 倍
2026-03
NVIDIA 公布 Vera CPU 細節,88 核心 Olympus 設計與 Rubin NVL72 平台
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Computerworld

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。