NVIDIA Rubin+Groq Hits $1T GPU Projection

•NVIDIA 於 2025 年 12 月與 Groq 簽署授權協議，初期 LPX 機架整合 64 個 LPU（封裝為 32 個 RealScale ASIC 晶片），每個 LPU 包含數百 MB 片上 SRAM，可在毫秒級延遲內生成小批次 token，Groq 演示顯示 10,000 個「思考 token」可在約 2 秒內生成[5]。
•Vera Rubin NVL144 機架級系統達成 3.6 exaflops FP4 推理和 1.2 exaflops FP8 訓練性能，相比 GB300 NVL72 提升 3.3 倍，搭載 13TBps HBM4、260TBps NVLink 6 和 28.8TBps CX9 互連[2]。
•Rubin 架構將 Tensor Core 寬度在 FP4/FP8 上翻倍至 32,768 FP4 MACs/時鐘，時脈速度提升 25% 至 2.38GHz，搭配第三代 Transformer Engine 支援硬體加速自適應壓縮，可達 50 petaflops NVFP4 推理性能[1][4]。
•Vera CPU 採用 88 個自訂 Olympus ARM 核心、176 個處理執行緒、1.8TBps NVLink-C2C 連接，L3 快取增加 40% 至 162MB，記憶體匯流排寬度翻倍至 1024 位元、速度提升至 9600MT/s，最大容量三倍增至 1.5TB（8 個 SOCAMM 模組）[1]。
•LPX 機架採用液冷冷板技術（微通道冷板 MCCP），應對 256 個 LPU 同時運作產生的數十千瓦功耗，該冷卻創新與 NVL72 VR200 平台相同[5]。

Vera Rubin GPU 架構創新

記憶體系統升級

互連與網路架構

Groq LPU 整合特性

第三代 Transformer Engine

LPU 與 GPU 混合架構將成為推理基礎設施標準

Groq LPU 的毫秒級延遲和 SRAM 頻寬優勢（1,200TB/s）補足 GPU 在高速 token 生成的限制，預示推理工作負載將分層至專用加速器。

FP4/FP8 低精度計算將主導訓練與推理工作負載

Rubin 在 FP4/FP8 上的 3.5 倍性能提升，而 BF16/TF32 僅 1.6 倍，反映 NVIDIA 預期產業將全面轉向低精度，推動模型量化標準化。

1GW 資料中心的 token 產出能力將成為競爭指標

Vera Rubin 與 Groq LPU 整合承諾 350 倍 token 產出提升，將使單位功耗的推理成本成為 GPU 採購決策的核心指標。

2025-12

NVIDIA 與 Groq 簽署授權協議，啟動 LPU 整合計畫

2026-03

GTC 2026 大會上正式發佈 Vera Rubin 超晶片與 LPX 機架配置

NVIDIA Rubin+Groq 衝刺萬億美元 GPU