Qwen3.5 MoE: Breakthrough or Incremental?

•Qwen3.5 採用混合注意力機制（Gated DeltaNet + Gated Attention），在75%的層中使用線性注意力，相比傳統Transformer架構實現了線性複雜度擴展，使其能在32K以上的上下文長度中保持顯著的吞吐量優勢[2][4]
•Qwen3.5的MoE架構引入了共享專家（Shared Expert）機制，每個token同時經過一個密集MLP和Top-K路由到8個專家（共64個），這種設計在訓練穩定性和整體性能上優於標準稀疏架構[2]
•397B-A17B模型在SWE-Bench Verified等代理編碼基準上與GLM-5和MiniMax M2.5相當，展示了MoE設計在實際應用中的競爭力，特別是在終端編碼和多步工作流執行場景[5]
•Qwen3.5系列包含多個規模的模型（35B-A3B、122B-A10B、27B密集版），提供了從邊緣部署到高性能推理的靈活選擇，單個AMD Instinct GPU或節點即可部署完整規模模型[2]
•官方發佈於2026年2月16日，首個版本為397B-A17B MoE模型，後續將發佈更多規模版本，標誌著Alibaba Qwen團隊從純參數規模擴展轉向架構效率和數據質量優先的策略轉變[1][8]

📊 競品分析▸ Show

特性	Qwen3.5 397B-A17B	GLM-5	MiniMax M2.5
架構	MoE + Gated DeltaNet混合注意力	未詳細披露	未詳細披露
活躍參數	17B / 397B總參數	未公開	未公開
原生上下文長度	1M（262K原生）	未詳細披露	未詳細披露
SWE-Bench Verified	相當水平	相當水平	相當水平
多模態能力	原生視覺代理	未詳細披露	未詳細披露
開源狀態	開源	開源	開源

混合注意力架構

MoE設計細節

推理性能特性

上下文擴展

MoE架構將成為開源LLM的主流設計範式

Qwen3.5將混合注意力機制從實驗性的Qwen3-Next模型整合到主線產品中，表明業界已驗證該架構的生產可行性，預期其他開源團隊將採納類似設計。

邊緣和中端硬體上的高性能推理將成為競爭焦點

Qwen3.5系列提供30B-35B規模的高效模型，單GPU部署完整功能，將推動企業從雲端推理轉向本地部署，改變LLM的成本經濟學。

原生多模態代理能力將驅動新一代應用開發

Qwen3.5的視覺代理和原生工具使用能力減少了提示工程需求，使開發者能更快構建複雜的多步工作流應用，加速代理AI的商業化。

2025-02

Qwen3-Coder-Next 80B模型發佈，展示MoE + Gated DeltaNet混合架構的可行性

2026-02-16

Qwen3.5系列正式發佈，首個版本為397B-A17B MoE模型

2026-02-24

Qwen3.5 Medium模型系列發佈，包含35B-A3B、122B-A10B、27B密集版本

2026-02-24

AMD Instinct GPU對Qwen3.5提供Day 0支持，優化MoE和視覺核心實現

Qwen3.5 MoE：突破還是漸進？