High-speed NVMe arrays for large-scale LLM inference

🔑 增強重點摘要

•儘管NVMe陣列在理論上能為TB級大型語言模型推論提供高達1.2TB/秒的傳輸速度，但實際應用中，將模型或其關鍵值（KV）快取從NVMe SSD卸載到GPU VRAM或CPU DRAM會引入顯著的延遲，這成為其普及的主要瓶頸。
•為了解決VRAM容量限制，業界已發展出分層儲存架構，將熱門的KV區塊保留在GPU HBM中，溫熱區塊移至CPU DRAM，而冷門或歷史性區塊則卸載到NVMe SSD，以實現更長的上下文長度和更高的並發用戶數。
•PCIe 5.0 NVMe SSDs的頻寬已達到14 GB/s，顯著縮短了模型載入和儲存檢查點的時間，比PCIe 4.0快40%，對於AI訓練和推論中的I/O瓶頸緩解至關重要。
•專為LLM推論設計的軟體框架，如DeepSpeed、vLLM與LMCache、NVIDIA Dynamo和llm-d，透過優化KV快取管理、模型參數卸載和分散式服務，使NVMe卸載方案在實踐中更具可行性。
•AI工作負載的儲存需求因訓練和推論階段而異：訓練需要高循序吞吐量來處理檢查點，而推論則需要高IOPS和超低延遲來進行小規模隨機讀取，這導致了不同的儲存架構優化策略，其中NVMe在推論的低延遲隨機存取方面表現突出。

📊 競品分析▸ Show

特性	高速 NVMe 陣列推論	高容量 VRAM GPU 推論	雲端推論服務
主要優勢	擴展模型容量至數TB，成本效益高於純VRAM，支援長上下文。	最低推論延遲，最高記憶體頻寬，模型駐留於GPU。	無需硬體管理，高度可擴展，按需付費，多樣化模型選擇。
典型硬體	具備多通道PCIe 5.0的伺服器，搭配大量NVMe SSD。	NVIDIA H100/H200/B200等高階GPU。	雲端供應商的GPU叢集或專用AI加速器。
理論傳輸速度/頻寬	理論上可達1.2TB/秒 (80個硬碟)。	H200可達4.8 TB/s記憶體頻寬。	依服務供應商和底層硬體而異，通常優化以提供高吞吐量。
推論延遲	由於資料在記憶體層級間移動，會引入數百微秒的NVMe存取延遲，導致總體延遲高於純VRAM方案。	極低延遲，因為模型和KV快取直接在GPU HBM中。	網路延遲和服務提供商的排程會影響延遲，但通常針對生產環境進行優化。
成本考量	初期硬體投資高，但長期運營成本可能低於雲端服務，尤其對於自託管大型模型。	高階GPU成本極高，是主要的成本驅動因素。	按請求或按GPU小時計費，大規模使用時總成本可能很高。
適用場景	需要運行超大型模型（數百GB至數TB）、對VRAM容量有嚴格要求、可接受一定延遲增加的自託管環境。	對延遲極度敏感、模型大小適中（可完全載入VRAM）或可透過多GPU分片處理的應用。	需要快速部署、彈性擴展、無需管理底層硬體、對隱私要求相對寬鬆的企業和開發者。

🛠️ 技術深入

分層儲存架構 (Tiered Storage Architecture)：LLM推論通常採用三層記憶體模型來管理KV快取和模型權重。最熱門的KV區塊（活躍生成中）保留在GPU HBM中，提供約3.35 TB/s的頻寬。次熱的區塊（已完成但可能重複使用）移至CPU DRAM，透過PCIe 5.0提供約63 GB/s的頻寬。最冷的區塊（歷史上下文、前綴快取）則卸載到NVMe SSD，其頻寬約為7 GB/s。
KV 快取卸載 (KV Cache Offloading)：這是克服VRAM限制的關鍵技術。當GPU記憶體不足時，KV快取會被寫入遠端儲存並在需要時檢索。這允許GPU處理每個上下文一次並重複使用結果，特別適用於多輪對話和RAG工作負載。
模型參數卸載 (Model Parameter Offloading)：模型參數可以主要儲存在CPU記憶體或NVMe中，並在需要時串流到GPU記憶體。然而，這會導致頻繁的PCIe傳輸，且在Adam優化器訓練中，優化器狀態通常是主要的記憶體消耗者。
PCIe 5.0 頻寬與延遲 (PCIe 5.0 Bandwidth and Latency)：PCIe 5.0 SSD提供高達14 GB/s的頻寬，對於加速資料載入和減少I/O瓶頸至關重要。然而，即使是快速的NVMe SSD，其存取延遲（數百微秒）仍遠高於GPU HBM，這在延遲敏感的應用中是一個權衡。
NVMe-over-Fabrics (NVMe-oF)：這是一種網路儲存協定，允許儲存與計算分離，使多個應用程式和伺服器共享儲存池。它透過RDMA或TCP傳輸協定，實現低延遲和高性能的共享儲存存取，適用於AI資料中心。
軟體框架與優化 (Software Frameworks and Optimizations)：
- DeepSpeed：支援將訓練狀態（如優化器狀態、梯度）從GPU VRAM卸載到CPU RAM或NVMe。
- vLLM與LMCache：vLLM的KVConnector介面允許KV快取卸載模組連接到推論引擎，LMCache則作為vLLM和外部儲存系統之間的橋樑，實現KV快取的持久化和分層儲存。
- llm-d：一個Kubernetes原生的分散式LLM推論框架，提供先進的KV快取管理，包括分層卸載到CPU或磁碟，以及精確的KV快取狀態全域索引。
- Multipath Memory Access (MMA)：一種軟體定義的多路徑記憶體存取系統，用於主機-GPU資料傳輸，可在多GPU伺服器中利用閒置的PCIe鏈路，將主機到GPU的頻寬提高4.62倍。

🔮 前景展望AI analysis grounded in cited sources

分層記憶體系統將成為大型LLM推論的標準配置。

隨著模型規模和上下文長度持續增長，單一GPU的VRAM將無法滿足需求，分層儲存（HBM、DRAM、NVMe）是唯一可行的擴展方案。

NVMe-oF將在AI資料中心中扮演更核心的角色。

為了實現計算與儲存的分離，並提供可擴展、高性能的共享儲存，NVMe-oF將成為AI工作負載的關鍵基礎設施。

軟體定義的記憶體管理和I/O優化將持續創新。

硬體瓶頸的突破需要更智慧的軟體層來協調不同記憶體層級之間的資料流動，以最小化延遲並最大化GPU利用率。

用於大規模 LLM 推論的高速 NVMe 陣列

⚡ 30-Second TL;DR

關鍵要點

🧠 深度解析

🔑 增強重點摘要

🛠️ 技術深入

🔮 前景展望AI analysis grounded in cited sources

📎 來源 (23)

👉相關動態

Lumisition Robotics 獲近五千萬融資，研發消費級四足機器人

Apple M7 Ultra 傳聞與 Unitree G1 機器人醫療突破