Nvidia Rubin LPDDR demand to surpass Apple and Samsung

•Nvidia Rubin平台將採用HBM4記憶體用於GPU，並將LPDDR5X/LPDDR6作為CPU附屬的系統記憶體，取代傳統的DDR5，這標誌著AI伺服器記憶體架構的重大轉變，LPDDR在AI推論伺服器中的應用日益增加，以提升效率和降低成本。
•Rubin平台不僅是一個GPU，而是一個整合式系統，包含客製化的Vera CPU（基於Arm的Olympus核心）、Rubin GPU、NVLink 6互連技術、ConnectX-9 SuperNICs、BlueField-4 DPUs和Spectrum-6乙太網路，旨在實現機架級別的AI超級運算。
•Rubin平台專為「代理式AI」（agentic AI）和大型「專家混合模型」（Mixture-of-Experts, MoE）設計，目標是將推論每代幣成本降低高達10倍，並將訓練MoE模型所需的GPU數量減少4倍，相較於Blackwell平台。
•全球DRAM供應鏈正經歷結構性轉變，主要記憶體製造商（如Samsung、SK Hynix、Micron）將產能優先分配給高利潤的AI記憶體（如HBM），導致傳統DRAM市場供應緊張，預計記憶體短缺和價格上漲將持續到2027年甚至更久，部分預測甚至到2030年。

📊 競品分析▸ Show

特性/產品	Nvidia H100 (Hopper)	Nvidia Blackwell (B200/GB200)	AMD Instinct MI300X	Intel Gaudi 3
架構	Hopper	Blackwell	CDNA 3	Gaudi 3
製程	TSMC 4N	TSMC 4NP	TSMC 5nm/6nm	TSMC 5nm
發布日期	2022年	2024年	2023年12月6日	2024年 (GA 2025年12月)
GPU記憶體類型	HBM3	HBM3e	HBM3	HBM2e
GPU記憶體容量	80 GB (SXM5)	192 GB (B200), 288 GB (Blackwell Ultra)	192 GB	128 GB
GPU記憶體頻寬	3.35 TB/s	8 TB/s (B200)	5.3 TB/s	3.7 TB/s
典型板功耗 (TBP)	700W	-	750W	600W (PCIe卡)
FP8 效能 (稀疏)	3958 TFLOPS (H100 SXM)	-	5.22 PFLOPs	1.8 PFLOPs
BF16 效能	1979 TFLOPS (H100 SXM)	-	1.3 PFLOPs	1835 TFLOPS
互連技術	NVLink 4 (900 GB/s)	NVLink 5 (1.8 TB/s)	Infinity Fabric (896 GB/s 雙向)	24x 200 Gbps RoCE ports
CPU整合	Grace Hopper Superchip (Grace CPU + H100)	Grace Blackwell Superchip (Grace CPU + B200)	-	-
軟體生態系	CUDA	CUDA	ROCm (開源)	SynapseAI (支援PyTorch/TensorFlow)
成本定位	高階	高階	競爭性	H100的約一半成本

Nvidia Rubin平台核心組件：
- NVIDIA Vera CPU：客製化Arm架構的Olympus核心，專為下一代AI工廠優化，並與Arm完全相容。
- NVIDIA Rubin GPU：新的GPU架構，將採用HBM4記憶體，提供比Blackwell平台HBM3e更高的頻寬。
- NVLink 6 Switch：第六代NVLink互連技術，提供每GPU 3.6 TB/s的雙向頻寬，實現系統內GPU之間的高速、低延遲全對全通訊。
- ConnectX-9 SuperNICs：用於卸載和加速橫向擴展網路。
- BlueField-4 DPUs：用於卸載儲存、安全和網路服務，並支援機密運算，同時透過新的推論上下文記憶體儲存平台加速代理式AI推理。
- Spectrum-6 Ethernet Switch：提供高效能乙太網路解決方案。
記憶體架構：
- GPU記憶體：Rubin GPU將使用HBM4記憶體，提供極高的頻寬，這是AI訓練和高階推論的關鍵。
- CPU系統記憶體：Rubin平台將LPDDR5X和LPDDR6（透過SOCAMM模組）作為CPU附屬的系統記憶體，取代傳統的DDR5，以提高能效和降低成本，特別適用於推論工作負載。
Rubin Ultra：Rubin平台的一個變體，採用多晶片GPU設計，透過NVLink晶片對晶片互連，使其表現為單一、更大的GPU，預計在Rubin平台首次推出後發布。

AI基礎設施對LPDDR的需求將加速LPDDR技術的創新與普及。

Nvidia等領先企業將LPDDR整合到其AI平台中，將推動記憶體製造商加速LPDDR的研發與生產，以滿足AI工作負載對功耗效率和成本效益的需求。

全球DRAM市場的供應短缺和價格上漲將持續至2027年甚至更久。

主要記憶體供應商已將產能轉向高利潤的AI記憶體（如HBM），導致傳統DRAM供應緊張，且新產能建設需時數年。

AI伺服器記憶體架構將朝向HBM與LPDDR混合搭配的「混合記憶體」模式發展。

HBM提供GPU所需的高頻寬用於訓練，而LPDDR則為CPU端提供高效能、低功耗的系統記憶體，以優化推論工作負載的成本和效率。

2016

Nvidia Pascal (Tesla P100) 推出，首次將HBM2和NVLink引入HPC/AI領域。

2017

Nvidia Volta (V100) 推出，引入Tensor Cores，大幅加速AI運算。

2023-12

AMD推出Instinct MI300X加速器，配備192GB HBM3記憶體。

2024

Nvidia Blackwell架構（B100/B200）推出，採用HBM3e記憶體。

2025-03

Nvidia在GTC 2025宣布Rubin架構將於2026年發布，並展示其AI路線圖。

2025-03

Micron宣布與Nvidia合作開發的SOCAMM（LPDDR5X）模組已投入量產，支援NVIDIA GB300 Grace Blackwell Ultra Superchip。

2026-01

Nvidia正式公布Vera Rubin平台細節，包括Vera CPU和Rubin GPU，並確認將採用HBM4記憶體。

Nvidia Rubin 平台 LPDDR 需求將超越 Apple 與 Samsung