llama.cpp 更新可能削弱 Qwen 編碼能力

#regression#coding-assistant#local-inferencellama.cppllama.cppqwen-3.5qwen-3-coder-nextlm-studio

💡警告：近期 llama.cpp 更新可能降低 Qwen 模型編碼指令遵循

⚡ 30-Second TL;DR

有什麼變化

Qwen 3.5 和 Qwen 3 Coder Next 編碼用途降低

為什麼重要

突顯本地 LLM 工具自動更新風險，可能在編碼等特定任務回歸模型品質。

下一步行動

在 LM Studio 測試 Qwen 編碼提示前固定 llama.cpp 版本。

誰應關注：Developers & AI Engineers

背景與延伸：來自公開資料，非原文內容。引用 7 個來源。

•Qwen 3.5 397B 在「Master-level」編碼任務中 ELO 分數從專家任務的 ~1550 驟降至 1194，主要因無法處理多檔案依賴協調[1]。
•Qwen3-Coder-Next 採用 MoE 架構，總 80B 參數僅激活 3B，即可在消費級硬體上實現高效率本地運行，支援 256K 上下文[3]。
•開發者回報 Qwen 在長上下文和大專案中一致性不足，建議調整 num_ctx 至 32768 並使用 Q4_K_M 量化以改善效能[2][3]。
•社區測試顯示 Qwen3 Coder Next 80B 在 16GB VRAM 上以重量化運行，複雜任務需 10-30 分鐘，但簡單任務表現優異[5]。

📊 競品分析▸ Show

模型	Aider 分數	最佳用途	VRAM (Q4)
Qwen 2.5 Coder 32B	72.9%	日常驅動，媲美 GPT-4o	~20GB
Qwen 2.5 Coder 14B	69.2%	16GB GPU	~9GB
Claude 3.5 Sonnet	84.2%	高品質雲端	雲端
GLM-4.7	1572 ELO (Master)	多檔案協調	本地

•Qwen 3.5 397B 在多檔案「Master」任務中出現「協調崩潰」，無法追蹤數十檔案依賴，導致修復未正確傳播[1]。
•Qwen3-Coder-Next 使用 MoE 架構（80B 總參數，激活 3B），支援 256K 上下文，推薦 llama.cpp 而非 MLX 以改善 Mac 上 KV 快取一致性[3]。
•常見優化：--ctx-size 32768、--n-gpu-layers 30、Q4_K_M 量化、--no-mmap 和 --fa on 旗標，提升推理速度至 20-40 tokens/sec[3]。
•訓練數據達 36 萬億 tokens，支援 MCP 協議用於代理整合，在 Tau2-Bench 得分 74.8 超越 Claude Opus 4[2]。