Qwen3.6 中型版本即將開源

🔑 增強重點摘要

• •Qwen3.6 系列採用了全新的「動態混合專家架構」（Dynamic MoE），旨在顯著降低中型模型在本地推理時的顯存佔用與計算延遲。
• •此次開源策略強調對「長文本上下文窗口」的優化，預計中型版本將支援高達 128k token 的有效上下文長度，以滿足複雜文檔分析需求。
• •Qwen 團隊在本次發布中引入了針對邊緣設備優化的量化友善架構（Quantization-friendly architecture），確保模型在 4-bit 量化後仍能保持接近 FP16 的性能表現。

🛠️ 技術深入

• •架構：採用基於 Transformer 的 Dynamic MoE（混合專家）設計，根據輸入 token 的複雜度動態激活專家路徑。
• •上下文：原生支援 128k token 上下文窗口，並採用了改進的 RoPE（旋轉位置編碼）插值技術以提升長文本檢索精度。
• •訓練數據：使用了包含多語言代碼、數學推理及高質量合成數據的混合數據集進行預訓練。
• •優化：針對 NVIDIA TensorRT-LLM 及 vLLM 進行了底層算子優化，顯著提升了在消費級顯卡（如 RTX 4090）上的吞吐量。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線