Qwen 3.5 122B-A10B 推理能力震驚

#local-llm#reasoning#quantizationqwen-3.5-122b-a10bqwen-3.5localllama

💡本地模型匹敵頂級推理—適合離線應用建置 (24字)

⚡ 30-Second TL;DR

有什麼變化

程式任務中的直覺自我引導規劃

為什麼重要

展示無雲端依賴的前沿推理能力，提升本地 LLM 採用率。

下一步行動

下載 Qwen 3.5 122B-A10B 並在本地應用開發任務中測試推理能力。

誰應關注：Developers & AI Engineers

背景與延伸：來自公開資料，非原文內容。引用 8 個來源。

•Qwen3.5-122B-A10B 採用 Mixture-of-Experts 架構，總參數 122B，每 token 僅激活 10B 參數，提升推理效率。[1][2]
•支援多模態輸入，包括文字、圖像與影片，具備 262k 原生上下文長度，可擴展至 1M tokens。[1][3][4]
•在基準測試中表現優異，如 MMLU-Pro 86.1%、GPQA Diamond 85.5%、SWE-bench Verified 72.4%。[1][3]

•架構類型：Transformer 與 Mixture-of-Experts，總專家數 256，激活專家 8 路由 + 1 共享，每 token 激活 10B 參數。[1][3]
•隱藏維度：3072，層數：48，注意力頭數：Q 32、KV 2，頭維度 256，使用 Grouped-Query Attention 與 Rotary Position Embedding。[1][3]
•激活函數：SwigLU，正規化：RMS Normalization，詞彙大小：248,320，支援 YaRN 擴展上下文至 1,010,000 tokens。[1][3][4]
•推理硬體需求：BF16 全上下文需 8 張 GPU，Q4_K_M 量化約 73-80GB VRAM。[1]