NVIDIA 推出推論特化晶片「Groq 3 LPU」，AI 效能最高 35 倍

🔑 增強重點摘要

• •NVIDIA Vera Rubin 平台包含六款新晶片：Vera CPU（88 個 Olympus Arm 核心）、Rubin GPU、NVLink 6 交換器、ConnectX-9 SuperNIC、BlueField-4 DPU 及 Spectrum-X Ethernet[1][5]。
• •Rubin GPU 提供 50 petaFLOPS NVFP4 推論效能（Blackwell 5 倍）、288 GB HBM4 記憶體及 22 TB/s 頻寬，NVL72 系統達 3.6 exaFLOPS[2][3]。
• •平台引入第三代 Transformer Engine 支援硬體自適應壓縮、第二代 NVLink-C2C 提供 1.8 TB/s CPU-GPU 相干頻寬，以及機架級保密運算[1][4][5]。
• •合作夥伴如 Microsoft Fairwater 超級工廠及 CoreWeave 將部署數十萬 Rubin Superchip，DGX SuperPOD 支援大規模部署[5]。
• •Rubin Ultra 後續版本預計 2027 年推出，每 GPU 推論效能達 100 PFLOPS 及 1 TB HBM4E[3][7]

🛠️ 技術深入

• •Rubin GPU 整合 224 個 Streaming Multiprocessors (SMs) 及第五代 Tensor Cores，優化 NVFP4/FP8 低精度執行，並擴充 SFUs 加速注意力機制與稀疏運算[1]。
• •Vera CPU 具 88 個自訂 Olympus Arm 核心、1.2 TB/s LPDDR5X 頻寬及 Scalable Coherency Fabric，支援代理式 AI 多步推理與保密運算[2][4]。
• •NVLink 6 提供 3.6 TB/s GPU-to-GPU 頻寬，第二代 NVLink-C2C 實現 CPU-GPU 統一位址空間，減少資料移動並支援 KV-cache 卸載[1][3]。
• •第三代 Transformer Engine 具硬體自適應壓縮，提升 NVFP4 效能至 50 petaFLOPS，與 Blackwell 完全相容[4][5]。
• •BlueField-4 DPU 整合 SSD 儲存推論上下文記憶體，Spectrum-X 提供低延遲 RDMA 連線，NIXL 實現 GPU-NIC 零拷貝傳輸[3][5]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線