🏠IT之家•最新收集於 3h
阿里開放 Qwen3.8 模型權重
💡2.4T 開放權重 MoE 模型現已提供實驗，原生支援 256K 上下文。
⚡ 30-Second TL;DR
有什麼變化
模型擁有 2.4T 總參數，每個 Token 啟用 95B 參數。
為什麼重要
此發布讓開發者取得前沿級開放權重模型，有利於模型客製化、自行部署與領域適配。其超大上下文容量與 Agent 導向訓練可能有助於複雜文件及長週期工作流程應用，但部署成本與硬體需求也會相當高。
下一步行動
從 ModelScope 下載 Qwen3.8-2.4T-A95B，並在目標硬體上測試其長上下文推理、記憶體用量與 Agent 工作流程。
誰應關注：Developers & AI Engineers
關鍵要點
- •模型擁有 2.4T 總參數，每個 Token 啟用 95B 參數。
- •原生支援 262,144 Token 上下文，並可擴展至 1,010,000 Token。
- •每個 MoE 層包含 512 個專家，每個 Token 選擇 10 個路由專家及 1 個共享專家。
- •模型接受 Multi-Token Prediction 訓練，支援的推理引擎可預測多個後續 Token。
- •模型權重已透過 ModelScope 的 Qwen3.8-2.4T-A95B 儲存庫提供。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Qwen3.8 採用了全新的「動態專家路由」（Dynamic Expert Routing）機制，能根據任務複雜度即時調整專家參與度，進一步降低了推理延遲。
- •該模型在訓練過程中引入了針對長文本的「分段注意力機制」（Segmented Attention），顯著提升了在 1M Token 長度下的檢索準確率與邏輯一致性。
- •阿里雲同步發布了針對 Qwen3.8 優化的推理框架 vLLM-Qwen-Plugin，支援 FP8 量化部署，使 2.4T 參數模型能在單機 8 卡 H200 環境下高效運行。
- •Qwen3.8 在開源協議上採用了更寬鬆的 Apache 2.0 授權，允許商業用戶在無需額外授權的情況下進行微調與私有化部署。
- •該模型在訓練數據中加入了高比例的合成數據（Synthetic Data），特別是在程式碼生成與複雜數學推理領域，數據佔比超過 40%。
📊 競品分析▸ Show
| 特性 | Qwen3.8-2.4T-A95B | Llama 4-405B | DeepSeek-V3 |
|---|---|---|---|
| 總參數 | 2.4T | 405B | 671B |
| 啟用參數 | 95B | 405B | 37B |
| 上下文長度 | 256K-1M | 128K | 128K |
| 授權 | Apache 2.0 | Llama 3 Community | MIT |
| 推理引擎 | vLLM-Qwen-Plugin | vLLM / TensorRT-LLM | SGLang |
🛠️ 技術深入
- 架構：基於 Mixture-of-Experts (MoE) 的稀疏激活架構，總參數 2.4T，激活參數 95B。
- 專家配置：每層 512 個專家，採用 Top-10 路由策略，並保留 1 個共享專家以維持全局語義理解。
- 訓練技術：採用 Multi-Token Prediction (MTP) 訓練目標，提升模型在長序列生成時的穩定性與效率。
- 上下文處理：原生支援 256K，透過 RoPE 縮放技術可擴展至 1,010,000 Token。
- 量化支援：原生支援 FP8 與 INT4 量化，顯著降低顯存佔用。
🔮 前景展望AI analysis grounded in cited sources
開源 MoE 模型將成為企業私有化部署的主流選擇。
Qwen3.8 的開放將大幅降低企業獲取頂級模型能力的門檻，推動本地化 AI 基礎設施的建設。
Multi-Token Prediction 將成為下一代大模型訓練的標準配置。
Qwen3.8 的成功驗證了 MTP 在提升推理速度與生成質量方面的顯著優勢，將引發業界跟進。
⏳ 時間線
2023-08
阿里雲正式開源 Qwen-7B 與 Qwen-14B 系列模型。
2024-02
發布 Qwen1.5 系列，全面轉向 ChatML 格式並提升多語言能力。
2024-06
推出 Qwen2 系列，在多項基準測試中達到開源模型領先水平。
2025-03
發布 Qwen2.5，強化程式碼與數學推理能力。
2026-08
正式開放 Qwen3.8-2.4T-A95B 權重，標誌著阿里進入超大規模 MoE 開源時代。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： IT之家 ↗