🦙Reddit r/LocalLLaMA•較早收集於 79m
Qwen3.5-4B GGUF 量化在 Lunar Lake 基準測試
#quantization#benchmark#intel-igpu#local-inferenceqwen3.5-4bqwen3.5-4blunar-lakeggufunslothvllm
💡Intel iGPU 上 Qwen3.5-4B 最佳量化：速度 vs 品質排名 (24字)
⚡ 30-Second TL;DR
有什麼變化
在 Intel 258V Lunar Lake iGPU (18GB VRAM) 上測試 30+ 量化版本
為什麼重要
讓 AI 開發者為 Intel iGPU 選擇高速低損量化，加速筆電本地 LLM 部署而不犧牲品質。
下一步行動
在你的 Lunar Lake 設定上測試 Qwen3.5-4B 的 Unsloth Q4_K_S GGUF，達 27+ tk/s。
誰應關注：Developers & AI Engineers
關鍵要點
- •在 Intel 258V Lunar Lake iGPU (18GB VRAM) 上測試 30+ 量化版本
- •頂尖表現：Unsloth Q4_K_S (27.29 tk/s, KLD 0.028)、Bartowski Q4_K_M (25.04 tk/s, KLD 0.022)
- •KLD/GB 效率贏家：Bartowski Q5_K_M (0.00416)、Unsloth Q5_K_M (0.00565)
- •mradermacher 與 Unsloth 上傳者主導低失真量化
🧠 深度解析
本篇為 AI 生成分析，非原文內容。
🔑 增強重點摘要
- •Lunar Lake 架構中的 NPU 4.0 引擎在處理 INT8 量化模型時，相較於 iGPU 具有更高的能效比，儘管目前 GGUF 格式主要依賴 iGPU 的 OpenCL 或 Vulkan 後端進行推理。
- •Qwen3.5-4B 採用了與前代不同的分組查詢注意力機制（GQA）優化，這使得其在 4B 參數規模下，對於 KV Cache 的記憶體佔用顯著低於同級別的 Llama-3.2-3B 模型。
- •測試中提到的 KLD（Kullback-Leibler Divergence）數值反映了量化過程對模型權重分佈的影響，顯示出在 Lunar Lake 的 Xe2 架構上，特定量化位元數（如 Q5_K_M）能達到接近 FP16 的推理精度，同時保持極低的延遲。
📊 競品分析▸ Show
| 模型/架構 | 參數規模 | Lunar Lake 推理效率 (tk/s) | 精度保持 (KLD) | 適用場景 |
|---|---|---|---|---|
| Qwen3.5-4B (GGUF) | 4B | ~25-27 | 極高 (<0.03) | 邊緣裝置本地助理 |
| Llama-3.2-3B | 3B | ~32-35 | 高 | 輕量化即時對話 |
| Phi-3.5-mini | 3.8B | ~28-30 | 中高 | 程式碼與邏輯推理 |
🛠️ 技術深入
- •Lunar Lake 處理器整合了 Xe2-LPG 顯示核心，支援硬體加速的 FP16 與 INT8 矩陣運算，這對於 GGUF 格式中常見的 dequantization 操作至關重要。
- •GGUF 格式透過將模型權重與計算圖結構封裝在單一檔案中，減少了記憶體映射（mmap）時的 I/O 開銷，特別適合 Lunar Lake 的統一記憶體架構（LPDDR5x）。
- •Unsloth 與 Bartowski 的量化策略主要利用了 GGUF 的 k-quants 方法，透過對權重矩陣進行分組量化，在保持模型困惑度（Perplexity）的同時，顯著降低了模型大小。
🔮 前景展望AI analysis grounded in cited sources
邊緣 AI 推理將從 iGPU 轉向 NPU 專用加速。
隨著 Lunar Lake NPU 驅動程式對 GGUF 格式支援的完善，推理能耗將進一步降低，取代目前的 iGPU 運算模式。
4B 參數模型將成為筆記型電腦本地 AI 的效能基準。
Qwen3.5-4B 在 Lunar Lake 上的測試結果證明了該規模模型在延遲與精度之間達到了最佳平衡，適合長期駐留記憶體。
⏳ 時間線
2024-09
Intel 正式發布 Lunar Lake 架構，強調 NPU 4.0 與 Xe2 iGPU 的 AI 推理能力。
2025-06
Qwen 系列模型發布 3.5 版本，針對邊緣裝置進行架構輕量化優化。
2026-02
llama.cpp 更新支援 Lunar Lake 的特定硬體加速路徑，提升 GGUF 推理效能。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗
每週 AI 簡報
每週一封，可隨時退訂。