Qwen 以開源 Flash 模型預覽 Qwen4

#mixture-of-experts#multimodal#fp8#model-releaseqwen3.8-flash-nextalibabaqwenqwen3.8-flash-nextqwen4

💡提前取得 Alibaba 即將推出的 Qwen4 背後架構之開源預覽。

⚡ 30-Second TL;DR

有什麼變化

Qwen3.8-Flash-Next 預計於北京時間 8 月 26 日晚上 11 點開源。

為什麼重要

Qwen4 的開源預覽可能讓開發者更早接觸 Alibaba 的下一代模型架構，加速實驗與應用開發。FP8 版本也可能提升推理部署效率，但實際效果仍取決於硬體與軟體相容性。

下一步行動

模型發布後，下載 Qwen3.8-Flash-Next 與 FP8 權重，並在目標硬體上測試延遲、記憶體用量及多模態準確率。

誰應關注：Developers & AI Engineers

背景與延伸：來自公開資料，非原文內容。引用 10 個來源。

•Qwen3.8-Flash-Next 採用了約 1250 億總參數規模，並透過混合專家架構實現每個 Token 僅約 60 億參數的稀疏激活，以優化推理成本。
•該架構引入了大型 n-gram 嵌入表以加速本地 Token 查找，並整合了 GDN（全局數據網絡）與 QSA（查詢結構注意力）機制來提升模型性能。
•技術評測顯示，Qwen3.8-Flash-Next 在保持與 Qwen3.7-Plus 相當能力的同時，訓練成本大幅降低至後者的九分之一。
•此模型將同步於 Hugging Face 與 ModelScope 平台發布，旨在降低開發者對封閉式 API 的依賴，推動本地化部署生態。
•該發布策略反映了阿里巴巴在開源領域的競爭佈局，意在透過高性價比的技術路徑，與 Moonshot AI 等競爭對手爭奪開源模型市場份額。

📊 競品分析▸ Show

特性	Qwen3.8-Flash-Next	Moonshot Kimi K3	Llama 3.2 (假設)
架構	多模態 MoE	混合專家	稠密/稀疏混合
推理效率	極高 (1/9 訓練成本)	高	中高
開源狀態	開源 (FP8 可用)	閉源/API 為主	開源

模型架構：採用多模態混合專家 (MoE) 設計，作為 Qwen4 架構的技術預覽。
參數規模：總參數約 125B，激活參數約 6B。
關鍵技術組件：
- 大型 n-gram 嵌入表：用於優化本地 Token 查找效率。
- GDN (Global/General Data Network)：增強模型全局數據處理能力。
- QSA (Query-Structure-Attention)：優化注意力機制結構，提升推理速度。
量化支持：原生提供 FP8 版本以降低顯存佔用。