NVIDIA BlueField-4 CMX 擴展 AI 記憶

🔑 增強重點摘要

• •NVIDIA CMX 整合 BlueField-4、DOCA™ 與 Spectrum-X™ Ethernet，提供 pod 等級的上下文記憶層，提升 Rubin 平台的吞吐量與功率效率。[1]
• •BlueField-4 STX 參考架構實現最高 5 倍 token 吞吐量、4 倍能源效率，以及 2 倍資料攝取速度，相較傳統儲存。[2][3]
• •早期採用者包括 CoreWeave、Crusoe、IREN、Lambda、Mistral AI、Nebius、Oracle Cloud Infrastructure (OCI) 與 Vultr。[2][3]

🛠️ 技術深入

• •BlueField-4 管理 NVMe SSD、執行儲存服務，並卸載 KV 快取的資料完整性與加密，提供高功率效率。[1]
• •STX 由 NVIDIA Vera Rubin 平台加速，結合儲存優化的 BlueField-4 處理器、NVIDIA Vera CPU、ConnectX-9 SuperNIC、Spectrum-X Ethernet 網路、DOCA 與 AI Enterprise 軟體。[2][3]
• •CMX 作為第一個機架規模實作，擴展 GPU 記憶體，提供高頻寬 KV 快取共享，消除推論 GPU 停滯。[1][5]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線