🦙Reddit r/LocalLLaMA•較早收集於 27m
TurboQuant 跳過 90% KV 去量化，提升 22.8% 解碼
💡KV 稀疏性提升 32K 解碼 22.8% – 本地推論調優必試（22字）
⚡ 30-Second TL;DR
有什麼變化
Qwen3.5-35B-A3B 在 M5 Max 32K 達 +22.8% 解碼速度
為什麼重要
大幅提升 Apple Silicon 長上下文推論效率，有利本地 LLM 部署。
下一步行動
複製 github.com/TheTom/turboquant_plus，並在 32K 設定測試稀疏 V 去量化。
誰應關注：Developers & AI Engineers
關鍵要點
- •Qwen3.5-35B-A3B 在 M5 Max 32K 達 +22.8% 解碼速度
- •利用注意力稀疏性跳過 90% V 去量化
- •儲存庫：github.com/TheTom/turboquant_plus
- •標準 q8_0 KV 適用（+5% 速度）
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗