LLM推理的硬體危機，比你想的嚴重得多

🔑 增強重點摘要

• •Google DeepMind 研究指出，現有架構在處理長上下文（Long-context）時，KV Cache 的記憶體佔用呈現線性增長，導致即使運算能力充足，系統也會因記憶體容量不足而發生『記憶體牆』（Memory Wall）效應。
• •HBF（High-Bandwidth Flash）技術旨在解決傳統 HBM 成本過高且容量擴展受限的問題，透過將快閃記憶體作為權重儲存層，能有效降低大規模模型推論的總體擁有成本（TCO）。
• •PNM（Processing-Near-Memory）架構透過將邏輯運算單元與 DRAM 晶片進行 3D 堆疊，顯著減少了數據在邏輯晶片與記憶體之間的傳輸延遲，從而解決了傳統馮·紐曼架構在 LLM 推論中的頻寬瓶頸。

🛠️ 技術深入

• •HBF 架構：利用 3D 堆疊技術將 NAND Flash 整合至運算單元附近，提供高達 512GB 的容量，旨在解決靜態模型權重（Static Weights）佔用昂貴 HBM 空間的問題。
• •PNM 實作：採用 TSV（矽穿孔）技術實現邏輯層與記憶體層的垂直互連，頻寬密度較傳統 2D 封裝提升數倍，並針對 LLM 的解碼階段優化了數據存取路徑。
• •記憶體頻寬瓶頸：研究數據顯示，在解碼（Decoding）階段，運算單元大部分時間處於閒置狀態，等待從記憶體讀取權重與 KV Cache，導致 GPU 利用率（MFU）極低。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線