🦙Reddit r/LocalLLaMA•最新收集於 3h
Q8 N-Gram 層潛在提升品質且幾乎不降速
#quantization#inference-speed#model-optimization#local-llmqwen-3.8-nextqwen 3.8 nextn-gramiq4_xsrtx 3090
💡針對性提升精度可能改善本地模型品質並維持吞吐量，但會額外增加 25 GB 權重。
⚡ 30-Second TL;DR
有什麼變化
這項實驗將 51B N-gram 層從較低精度提升至 Q8。
為什麼重要
結果顯示，選擇性提高重要模型元件的精度，可能在不大幅犧牲吞吐量的情況下改善品質。儲存空間大幅增加仍是本地部署的實際障礙，尤其對消費級系統而言更是如此。
下一步行動
使用固定提示集重現 Q8 N-gram 替換，並將其與原始 IQ4_XS 模型比較困惑度、任務準確率、VRAM／RAM 使用量及穩態每秒 token 數。
誰應關注：Researchers & Academics
關鍵要點
- •這項實驗將 51B N-gram 層從較低精度提升至 Q8。
- •據報生成速度大致維持穩定，穩態效能約為每秒 10.1 個 token。
- •加入高精度層後，state_dict 大小從約 90 GB 增加至 115 GB。
- •測試使用限功耗 RTX 3090、Xeon E5-2690 v4 與 96 GB DDR4 記憶體。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗
每週 AI 簡報
每週一封，可隨時退訂。