Qwen3.5-35B 動態 GGUFs 達 SOTA 基準

#quantization#benchmarks#kl-divergenceqwen3.5-35b-a3b-unsloth-dynamic-ggufsqwen3.5-35bunslothgguf

💡SOTA 量化 Qwen3.5 GGUFs + 9TB 基準，用於本地 LLM（28字）

⚡ 30-Second TL;DR

有什麼變化

UD-Q4_K_XL、IQ3_XXS 等達 99.9% KL 散度 SOTA

為什麼重要

提升如 Qwen3.5 大模型本地推論效率，在無品質損失下實現更好量化效能。社群獲廣泛基準用於未來量化工作。

下一步行動

下載更新 Qwen3.5-35B-A3B GGUFs，並使用 Imatrix 重新量化以達 SOTA 困惑度。

誰應關注：Researchers & Academics

背景與延伸：來自公開資料，非原文內容。引用 6 個來源。

•Qwen3.5-35B-A3B 採用混合架構，整合線性注意力機制與稀疏混合專家模型（256 專家，8 路由 + 1 共享），提升推理效率並與 Qwen3.5-27B 性能相當。[1][2]
•模型支援 262,144 tokens 原生上下文長度，並具備多模態輸入（文字、圖像、影片），輸出文字，於 2026-02-25 添加至平台。[1][2]
•Qwen3.5 系列於 2026-02-24 發布，包括 Qwen3.5-122B-A10B 與 Qwen3.5-35B-A3B，由 Alibaba Cloud 的 Qwen 團隊開發，支援 201 種語言。[4][1]

•總參數 35B，激活參數 3B，使用 Gated Delta Networks 結合稀疏 MoE（256 總專家，8 路由 + 1 共享活躍），實現高效推理與低延遲。[1]
•支援工具使用與推理視覺語言功能，具備 'Enable Thinking' 自訂欄位（預設 true），控制模型回覆前思考過程。[1][3]
•透過百萬代理環境的強化學習訓練，提升真實世界適應性，並實現早期融合多模態訓練，超越前代 Qwen3-VL 在推理、編碼與視覺基準。[1][5]