🦙Reddit r/LocalLLaMA•較早收集於 5h
llama.cpp 熱專家快取加速 MoE 27%
💡llama.cpp 專家快取讓單 4090 MoE 權重加速 27% (22字)
⚡ 30-Second TL;DR
有什麼變化
動態快取追蹤每 N 權重熱門專家
為什麼重要
在消費級硬體解鎖更快速單 GPU MoE 推論，彌補統一記憶體系統差距。對 Qwen3.5-122B 等巨型模型本地部署至關重要。
下一步行動
複製 github.com/ParmesanParty/llama.cpp 並基準測試你的 MoE 模型熱專家快取。
誰應關注：Developers & AI Engineers
關鍵要點
- •動態快取追蹤每 N 權重熱門專家
- •RTX 4090 上 22.67 tok/s（27% > 層級卸載）
- •44 VRAM 槽位，+45% 勝全 CPU 基準
- •儲存庫：github.com/ParmesanParty/llama.cpp
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗