⚛️量子位•最新收集於 2h
AI SSD 重塑大模型推理儲存架構
💡了解儲存與資料流動為何可能成為逐 Token 大模型推理的瓶頸。
⚡ 30-Second TL;DR
有什麼變化
AI SSD 被視為大模型推理的新儲存範式。
為什麼重要
如果以 Token 為核心的資料流動成為主要設計目標，推理效能可能不再只取決於加速器吞吐量，也會受到儲存與資料路徑影響。這將為 AI 基礎設施建構者與儲存供應商帶來新的最佳化機會。
下一步行動
使用 fio 在推理工作負載下測試儲存延遲與吞吐量，再將結果與每 Token 生成延遲進行關聯分析。
誰應關注：Researchers & Academics
關鍵要點
- •AI SSD 被視為大模型推理的新儲存範式。
- •推理基礎設施正逐步以 Token 層級進行最佳化。
- •算力、網路、記憶體與儲存需要作為協同系統運作。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •AI SSD 透過整合計算單元（Computational Storage），允許在儲存端直接執行部分預處理或向量搜尋任務，從而減輕主機 CPU 與 GPU 的負載。
- •針對大模型推理的 AI SSD 通常採用專用的 KV Cache 卸載（Offloading）機制，將部分 KV Cache 從昂貴的 HBM 轉移至高頻寬 SSD，以擴展推理上下文長度。
- •AI SSD 引入了針對小數據塊隨機讀取（Random Read）的深度最佳化，以應對大模型推理過程中頻繁的權重載入與 KV Cache 存取需求。
- •業界正推動將 AI SSD 的存取協定與 CXL（Compute Express Link）架構整合，以實現記憶體與儲存層級的統一記憶體池化。
- •AI SSD 透過硬體加速器實現即時資料壓縮與解壓縮，顯著提升了模型權重從儲存載入至 GPU 的有效頻寬。
📊 競品分析▸ Show
| 特性 | AI SSD (計算儲存) | 傳統 NVMe SSD | 傳統 DRAM/HBM |
|---|---|---|---|
| 運算能力 | 內建處理器/FPGA | 無 | 無 |
| 延遲 | 中等 (針對 AI 優化) | 高 | 極低 |
| 成本 | 中等 | 低 | 極高 |
| 適用場景 | 模型權重卸載/KV Cache | 資料歸檔 | 即時運算 |
🛠️ 技術深入
- 採用 NVMe 2.0 規範中的 Computational Storage Subsystem (CSS) 架構，實現儲存與運算的解耦。
- 支援多租戶（Multi-tenancy）隔離，確保多個推理任務在存取同一儲存裝置時互不干擾。
- 整合專用 DMA 引擎，直接將資料從 SSD 傳輸至 GPU 記憶體，繞過 CPU 瓶頸。
- 針對大模型權重（FP8/INT4 量化格式）進行讀取路徑的最佳化，減少解碼延遲。
🔮 前景展望AI analysis grounded in cited sources
AI SSD 將成為邊緣 AI 推理裝置的標準配置。
邊緣裝置受限於記憶體容量，AI SSD 提供的擴展儲存與計算能力將是運行大型模型的關鍵。
儲存廠商將轉型為 AI 基礎設施供應商。
隨著儲存硬體整合更多運算功能，其價值主張已從單純的資料保存轉向加速 AI 推理流程。
⏳ 時間線
2023-05
NVMe 組織正式發布計算儲存（Computational Storage）技術規範。
2024-03
首批針對 AI 推理優化的企業級 SSD 樣品開始在資料中心進行測試。
2025-06
主流儲存供應商開始將 CXL 介面整合至 AI SSD 產品線中。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 量子位 ↗