增加 MoE 專家數是否有實質幫助？

🔑 增強重點摘要

• •Qwen3-30B-A3B 採用 128 個專家，每 token 僅啟用 8 個專家，實現 30.5B 總參數但僅 3.3B 啟用參數的高效推理。[1][3]
• •模型具備思考模式（複雜推理、數學、程式碼）和非思考模式（一般對話），支援超過 100 種語言及代理工具整合。[2]
• •Qwen3-30B-A3B 在基準測試中超越 QwQ-32B 稠密模型，儘管啟用參數僅为其十分之一，並支援原生 32K 上下文可擴展至 256K token。[5][1]

🛠️ 技術深入

• •架構：48 層 Transformer，使用 Grouped Query Attention (GQA)，32 個查詢頭與 4 個 KV 頭。
• •MoE 設計：128 個專家，每 token 透過路由機制選擇 8 個專家啟用。
• •上下文長度：原生 32,768 token，可用 YaRN 擴展至 131,072 token，進一步迭代達 256,000 token。
• •量化版本如 FP8（區塊大小 128），適用於代理程式碼任務及 OpenAI 相容工具呼叫。
• •推理效能：在 H100 GPU 上，代理程式碼任務（96K 上下文）達 2 請求容量，生成速度約 25.6 token/s。[3][4]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線