記憶體成本將占超大規模數據中心30%，四年翻四倍

🔑 增強重點摘要

• •數據中心架構正從『運算中心』轉向『記憶體中心』，為了緩解 AI 模型訓練中的記憶體牆（Memory Wall）瓶頸，超大規模業者正積極導入 CXL（Compute Express Link）技術以實現記憶體池化（Memory Pooling）。
• •記憶體供應商（如三星、SK 海力士、美光）正將產能大幅轉向 HBM3E 及後續規格，導致傳統伺服器 DRAM（如 DDR5）產能受到排擠，進而推升了非 AI 伺服器的採購成本。
• •除了硬體成本，電力消耗與散熱需求隨記憶體密度提升而激增，數據中心營運商被迫增加資本支出於液冷基礎設施，這進一步壓縮了用於購買運算晶片的預算空間。

🛠️ 技術深入

• •HBM3E 採用先進的 TSV（矽穿孔）技術與 MR-MUF（大規模回流模塑底部填充）封裝工藝，以實現更高的頻寬與堆疊層數。
• •CXL 2.0/3.0 協定被視為解決記憶體容量限制的關鍵，允許 CPU 與 GPU 透過 PCIe 介面共享記憶體資源，降低對昂貴 HBM 的過度依賴。
• •DDR5 RDIMM 透過引入 On-die ECC 與雙通道架構，在提升頻率至 6400MT/s 以上的同時，維持了數據傳輸的可靠性，但其 PMIC（電源管理晶片）的發熱問題成為伺服器設計的新挑戰。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線