🦙較早收集於 5h

Qwen3.5-35B-A3B 在程式碼文件表現出色

Qwen3.5-35B-A3B 在程式碼文件表現出色
PostLinkedIn
🦙閱讀原文: Reddit r/LocalLLaMA

💡35B Qwen 在文件上勝過 122B,達 90 令牌/秒—適合程式碼儲存庫(22字)

⚡ 30-Second TL;DR

有什麼變化

在文件串品質上優於 122B 模型

為什麼重要

證明較小的量化模型在特定任務上可匹敵或超越大型模型,在 Apple 硬體上優化速度。

下一步行動

透過 LM Studio 安裝 mlx-community/qwen3.5-35b-a3b,並在你的程式碼庫上執行 llmaid --profile code-documenter.yaml。

誰應關注:Developers & AI Engineers

關鍵要點

  • 在文件串品質上優於 122B 模型
  • 在 M4 Max 128GB 上達 80-90 令牌/秒(MLX 6 位元)
  • 整合 llmaid 進行批次儲存庫文件更新
  • 指令範例:llmaid 使用 code-documenter.yaml 設定檔

🧠 深度解析

背景與延伸:來自公開資料,非原文內容。引用 7 個來源。

🔑 增強重點摘要

  • Qwen3.5-35B-A3B 是 Alibaba Cloud 於 2026 年 2 月發布的多模態基礎模型,支持文字與影像輸入,具備 262k 令牌上下文視窗,可擴展至 1M。
  • 模型在基準測試中表現優異,包括 MMLU-Pro 85.3%、GPQA Diamond 84.2%、SWE-bench Verified 69.2% 及 Terminal-Bench 2.0 40.5%。
  • 採用混合架構,整合 Gated Delta Networks 與稀疏 Mixture-of-Experts,提供高效推理,API 輸出速度達 163 令牌/秒。
  • 以 Apache 2.0 授權開放權重,支持 201 種語言的多語言任務及視覺語言推理。
📊 競品分析▸ Show
模型參數 (總/活躍)基準 (GPQA)速度 (t/s)定價 (輸入/輸出 per 1M tokens)
Qwen3.5-35B-A3B35B/3B84.5%163$0.25/$2.00
Qwen3.5-27B27B (稠密)未指定未指定
Qwen3.5-397B-A17B397B/17B未指定未指定未指定

🛠️ 技術深入

  • 總專家參數: 35B,專家數 256,每令牌活躍專家 9,活躍參數 3B。
  • 架構細節: Grouped-Query Attention,隱藏維度 2048,層數 40,注意力頭 16,KV 頭 2,激活函數 SwigLU,RMS 正規化,ROPE 位置嵌入。
  • 模態: 原生視覺語言模型,支持文字、影像、視頻輸入輸出文字,上下文 262k 令牌。
  • 效率設計: Gated Delta Networks 結合稀疏 MoE,線性注意力機制,提升推理效率。

🔮 前景展望AI analysis grounded in cited sources

MoE 模型將主導高效部署
Qwen3.5-35B-A3B 以 3B 活躍參數達 35B 效能,證明稀疏架構降低計算需求同時維持高性能,將加速本地與邊緣部署採用。
多模態開源模型競爭加劇
Apache 2.0 開放權重及 201 語言支持,使其挑戰閉源多模態模型,推動產業向高效開源轉移。
程式碼生成基準持續提升
SWE-bench 69.2% 成績優於多數同級模型,預示未來 AI 輔助開發工具將更可靠並整合視覺理解。

時間線

2026-02
Qwen3.5 系列發布,包括 35B-A3B 多模態 MoE 模型
2026-02-24
Qwen3.5-35B-A3B 正式發布,支持高效視覺語言任務
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/LocalLLaMA

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。