KV Q8 量化性能透過旋轉恢復

Post LinkedIn

🦙閱讀原文： Reddit r/LocalLLaMA

#quantization#kv-cache#updatellama.cppllama.cppggml-org

💡修復 q8 KV 量化在基準上的性能下降—對記憶體高效本地 LLM 至關重要（42字元）

⚡ 30-Second TL;DR

有什麼變化

kv 旋轉 PR 中 q8 KV 量化在 AIME25 上性能崩潰

為什麼重要

此更新讓 q8 量化使用者維持競爭性能而無需切換格式，可能降低本地 LLM 部署的記憶體使用。它突顯開源推理引擎的持續優化。

下一步行動

檢視 llama.cpp PR #21038，並在你的 q8 量化模型上測試 KV 旋轉。

誰應關注：Developers & AI Engineers

關鍵要點

•kv 旋轉 PR 中 q8 KV 量化在 AIME25 上性能崩潰
•透過 KV 旋轉技術幾乎完全恢復性能
•相關 GitHub 評論：https://github.com/ggml-org/llama.cpp/pull/21038#issuecomment-4150413357
•對 q8 使用者是好消息；有些人仍偏好 fp16

🧠 深度解析

本篇為 AI 生成分析，非原文內容。

🔑 增強重點摘要

•KV 旋轉技術的核心原理是透過對 KV Cache 進行正交變換（Orthogonal Transformation），將原本分佈不均的數值範圍重新映射，從而減輕 Q8 量化過程中的捨入誤差。
•此項改進不僅適用於 Q8，研究顯示該技術對於更低位元（如 Q4_K_M）的 KV Cache 量化同樣具有顯著的精度恢復效果，有助於降低長上下文推理的記憶體佔用。
•AIME25 基準測試之所以對 KV 量化敏感，是因為該測試集包含大量複雜的數學推理任務，對模型注意力機制的精確度要求極高，任何微小的量化偏差都會導致推理鏈斷裂。

🛠️ 技術深入

• KV 旋轉（KV Rotation）實作：在計算注意力分數前，對 Key 和 Value 張量應用旋轉矩陣，使其數值分佈更接近高斯分佈，減少量化時的動態範圍損失。 • 精度恢復機制：透過旋轉操作，將原本集中在極少數異常值（Outliers）上的資訊分散到更多維度，使得 8-bit 量化後的資訊保留率大幅提升。 • 效能影響：此技術在 llama.cpp 中透過 SIMD 指令集優化，在恢復精度的同時，對推理速度的額外開銷極小，幾乎可忽略不計。