TurboQuant 在 MLX 上：4.6 倍 KV 快取壓縮，達 FP16 速度 98%

Post LinkedIn

🦙閱讀原文： Reddit r/LocalLLaMA

#kv-cache-compression #metal-kernels #apple-siliconturboquant-mlxturboquant mlx qwen2.5-32b m4-pro

💡MLX 上 4.6 倍 KV 壓縮達 FP16 滿速 – Apple LLM 推論的遊戲規則改變者（28字）

⚡ 30-Second TL;DR

有什麼變化

Qwen2.5-32B 達 4.6 倍 KV 快取壓縮

為什麼重要

大幅降低 Apple Silicon 上長上下文推論的記憶體佔用，讓本地 LLM 部署更高效且無品質損失。提升 MLX 生態系在資源受限硬體上的採用率。

下一步行動

複製 https://github.com/arozanov/turboquant-mlx 並於你的 M 系列 Mac 上以 Qwen2.5-32B 進行基準測試。

誰應關注：Developers & AI Engineers

關鍵要點

•Qwen2.5-32B 達 4.6 倍 KV 快取壓縮
•融合 Metal 量化/反量化核心達 98% FP16 速度
•M4 Pro 上 16K 上下文：4.2GB 快取減至 897MB
•使用遞增解碼緩衝將速度從 0.28x 提升至 0.98x FP16
•發布 GitHub 程式碼與 mlx-lm PR

🧠 深度解析

AI-generated analysis for this event.

🔑 增強重點摘要

•TurboQuant 採用了針對 Apple Silicon Metal 架構高度優化的非對稱量化技術，特別針對 KV 快取中常見的異常值（Outliers）進行了保護，以維持長上下文下的生成品質。
•該技術不僅限於 Qwen2.5 系列，其設計架構允許透過簡單的配置調整，將 KV 快取壓縮技術擴展至其他基於 Transformer 架構的開源模型，如 Llama 3 或 Mistral 系列。
•透過將反量化過程融合（Kernel Fusion）進注意力計算的矩陣乘法核心中，TurboQuant 有效規避了記憶體頻寬瓶頸，這是其能在 M4 Pro 上達成接近 FP16 速度的關鍵因素。

📊 競品分析▸ Show

技術/方案	壓縮比	速度表現 (相對於 FP16)	適用硬體	核心優勢
TurboQuant	4.6x	98%	Apple Silicon	Metal 核心融合，低延遲
H2O-KV	變動	較高	通用 GPU	基於重要性採樣，適用性廣
StreamingLLM	無壓縮	極高	通用	視窗化快取，不需額外運算

🛠️ 技術深入

• 核心演算法：採用針對 KV 快取的非對稱量化（Asymmetric Quantization），將 FP16 數據壓縮至 4-bit 或更低，同時保留關鍵激活值以減少精度損失。 • Metal 實作：利用 Apple 的 Metal Performance Shaders (MPS) 編寫自訂核心，實現了量化與反量化操作的算子融合（Operator Fusion），減少了 GPU 暫存器與記憶體之間的數據搬移。 • 記憶體管理：透過 MLX 框架的記憶體分配器，將壓縮後的 KV 快取直接儲存在連續的記憶體區塊中，進一步提升了快取命中率。 • 適用模型：目前已驗證對 Qwen2.5-32B 的支援，並針對其注意力機制（Attention Mechanism）的頭部結構進行了特定優化。