多 GPU KV 快取與專家張量卸載查詢

🔑 增強重點摘要

• •llama.cpp 在 2026 年支援透過 --cache-type-k 和 --cache-type-v 旗標進行 KV 快取量化，可將快取精度從 FP16 降至 Q8_0 或 Q4_0，減少約 50% 或更多的 VRAM 使用量[1][2]
• •MoE（混合專家）模型架構如 Qwen 3.5 系列採用分組查詢注意力（GQA），使得 35B 模型在 8K 上下文下每個並行使用者僅需約 200MB KV 快取，相比傳統架構大幅降低記憶體需求[2]
• •多 GPU 推理中，KV 快取可透過卸載至系統 RAM 或分散至多個 GPU 來優化，但需要使用 vLLM 或 SGLang 等框架支援的前綴快取和 KV 快取卸載技術[6]
• •Flash Attention 已成為 KV 快取量化的必要前置條件，預計將在未來 Ollama 版本中成為預設設定[1]
• •在異質 GPU 組合中，較弱的 GPU 可透過設定 --gpu-memory-utilization 0.85 預留 15% 記憶體作為 KV 快取尖峰緩衝，避免系統 RAM 卸載導致效能從 50+ tokens/秒下降至 2-3 tokens/秒[8]

🛠️ 技術深入

• •KV 快取記憶體計算：KV 快取與上下文長度呈線性增長。8B 模型在 FP16 精度下，2K 上下文需 ~0.3GB，32K 上下文需 ~5GB，128K 上下文需 ~20GB[1]
• •量化精度選項：Q4_0 量化可減少 KV 快取使用約 50% 以上，Q8_0 量化效果介於兩者之間。量化會影響輸出品質，因 KV 快取對量化更敏感[1]
• •GQA 架構優勢：Grouped Query Attention 相比標準多頭注意力大幅減少 KV 快取大小。Qwen 3.5 系列 9B 和 27B 模型從 8K 擴展至 32K 上下文僅需 1-2GB VRAM，擴展至 64K 需 2-4GB[2]
• •多使用者 KV 快取隔離：llama.cpp 為每個並行使用者建立獨立的 KV 快取記憶體槽位。35B MoE 模型在 8K 上下文下每使用者約 200MB，4 個並行使用者總計 0.80GB[2]
• •分散式優化技術：前綴快取、KV 快取卸載、資料/張量並行化和預填充-解碼分離等技術可在多 GPU 環境中優化 MoE 模型推理[6]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線