Qwen3.5-35B GGUF 量化基準測試

🔑 增強重點摘要

• •Qwen3.5-35B-A3B 採用 Mixture-of-Experts (MoE) 架構，總參數 35B 但每 token 僅激活 3B 參數，在 MMLU 和 GSM8K 等基準測試中超越前代 Qwen3-235B 模型[1][2]。
• •Qwen3.5 系列於 2026 年 2 月由 Alibaba Cloud 的 Qwen 團隊發布，包括 Flash、27B、35B-A3B 和 122B-A10B 模型，皆支援 256K+ 上下文視窗及原生多模態能力[1][5]。
• •Q4 量化後 Qwen3.5-35B-A3B VRAM 需求約 12-15GB 或 18GB，可單一 RTX 3090/4090 運行，並高度相容 LoRA/QLoRA 微調[1][2]。
• •在 llama.cpp + openclaw 上 DGX Spark (GB10) 運行 Qwen3.5-35B-A3B 可達 43 tok/s 生成與 63 tok/s 預填充速度[4]。
• •Qwen3.5-27B 作為密集模型在生產部署中表現優異，適合 VRAM 充足的本地環境[3]。

🛠️ 技術深入

• •Qwen3.5-35B-A3B 使用 Gated Delta Network 結合稀疏 Mixture-of-Experts 層架構，實現雙重效率優化[3]。
• •支援 262K 上下文視窗，原生多模態早融合架構，優於 Qwen3-VL 在視覺理解基準[1]。
• •Q4_K_M 量化 VRAM 需求 18GB (27B) 或 12-15GB (35B-A3B)，相容 llama.cpp、openclaw 及 LoRA/QLoRA 微調[1][2][4]。
• •提示工程建議使用系統指令定義角色，以激活 MoE 模型的正確專家路由[2]。
• •全量化模型磁碟大小約 37GB，在 GB10 上支援工具呼叫、串流及 [think] 關鍵字切換推理模式[3][4]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線