Unsloth Qwen3.5 量化模型預設無思考

🔑 增強重點摘要

• •Unsloth修復了Qwen3.5 GGUF的工具呼叫chat template問題，此問題影響所有量化上傳者和類型[2]。
• •Unsloth Dynamic量化在Qwen3.5-35B上達到幾乎所有位元的最先進（SOTA）性能，透過超過150次KL散度基準測試驗證[1][2]。
• •Imatrix技術顯著改善低位元量化效果，例如將ssm_out從2位元劣化降低許多，並適用於所有量化位寬[2]。
• •Qwen3.5小型密集模型支援高達262,144 token的長上下文，但Unsloth GGUF文件建議至少使用2位元Dynamic量化以平衡大小與精度[3][5]

🛠️ 技術深入

• •Qwen3.5小型密集模型（0.8B-9B）採用混合架構，ffn_up_exps與ffn_gate_exps適合3位元量化，ffn_down_exps較敏感，ssm_out與attn_*張量極度敏感，避免過度低位元量化[1][2]。
• •Unsloth Dynamic GGUF移除MXFP4層於Q2_K_XL、Q3_K_XL、Q4_K_XL變體，使用Imatrix加權量化過程，提升低位元KL散度表現[1][2][3]。
• •量化敏感性排序顯示ffn_*層過度量化不利，建議iq3_xxs等3位元為大小與99.9% KL散度最佳折衷[1][2]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線