🔬
RaBitQ 作者澄清 TurboQuant 誤述
RaBitQ 論文作者公開澄清 TurboQuant 對其方法的描述不完整且不準確，包括理論保證和實證比較。他們強調遺漏如隨機旋轉等關鍵步驟，以及不當的次優聲明，儘管先前已通知。貼文旨在糾正本地 LLM 推論社群在 ICLR 2026 前夕的混淆。
Search
Tag: #kv-cache63 results
🤖
TurboQuant 對本地與移動 LLM 的影響
文章分析 Google TurboQuant KV 快取壓縮（3-4 位元，零損失）對本地設定與移動推論的影響。探討產出增益、消費 GPU 擴展，以及手機 RAM/電池影響。尋求 mlx/llama.cpp fork 的基準測試。
🔬
尋求 TurboQuant 實作經驗
Reddit 貼文詢問 Google TurboQuant 論文的實作情況。論文聲稱 6 倍 KV 快取壓縮且零精度損失，在 H100 上最高 8 倍注意力加速。於 ICLR 2026 發表，尋求超出基準的真實世界收益。
Qwen3.5-27B FP8 效能媲美 BF16
使用者使用 vLLM 對 Qwen3.5-27B 進行基準測試，比較原始 BF16 權重/16 位元 KV 快取與 Qwen 的 FP8 量化及 8 位元 KV 快取。結果幾乎相同，歸因於單次執行隨機噪聲。建議使用 FP8 權重與快取，大幅擴展上下文長度。
🤖
小模型 KV 快取技能注入技術
一種新方法將技能嵌入注入 KV 快取，讓代理技能無需膨脹提示上下文。在 Qwen2.5-0.5B-Instruct 上測試，效能提升至 65/100 分數同時節省 token。完整儲存庫與結果在 GitHub 分享。
SideQuest：模型驅動 KV 快取管理，用於長時程代理推理
SideQuest 利用大型推理模型 (LRM) 本身，透過推理上下文 token 的有用性來壓縮 KV 快取，適用於長上下文代理任務。它將壓縮視為平行輔助任務執行，避免汙染主要推理上下文。僅用 215 個樣本訓練的模型評估顯示，峰值 token 使用量減少 65%，準確度損失極小，優於啟發式方法。
🤖
MiniCPM-SALA 混合架構推論效率基準衝刺
OpenBMB 與 NVIDIA 推出 SOAR 2026 衝刺，在 SGLang 上基準測試 Sparse+Linear MiniCPM-SALA。聚焦稀疏運算子融合與長上下文 KV-cache。討論混合架構是否能在生產環境推論吞吐超越 Transformer。
🤖
Gemma 4 KV 快取即使 2K 上下文也膨脹 VRAM
用戶報告無法在 40GB VRAM 上容納 Unsloth Gemma-4-31B-it-UD-Q8（35GB），即使 2K 上下文也需 Q4 KV 量化。與 Qwen3.5-27B 相比不利，後者無需量化即可完整上下文。在基準測試中 Qwen 更優。
KV Q8 量化性能透過旋轉恢復
llama.cpp 最近的 PR 發現現有 q8 KV 量化在 AIME25 基準測試上性能大幅下降。透過 KV 旋轉可幾乎完全恢復性能。這對現有 q8 使用者有益，儘管有些人偏好 fp16。
🤖
Qwen 3.5 需要 bf16 KV 快取
如 35B A3B 的 Qwen 3.5 模型在 llama.cpp 中需要 bf16 KV 快取以確保準確困惑度，而非預設 f16。測試顯示 bf16 PPL 為 6.5497，f16/f32 為 6.5511。vLLM 正確預設 bf16，但 llama.cpp 需要手動旗標。