🕷️
SetupAI
EN
🦙較早收集於 78m

Qwen3.5 運行筆記與最佳設定

PostLinkedIn
🦙閱讀原文： Reddit r/LocalLLaMA
#local-inference#prompting-tips#model-optimizationqwen3.5qwen3.5llama.cpp

💡llama.cpp 調整讓 Qwen3.5 無循環 + 解鎖深入分析（24字）

⚡ 30-Second TL;DR

有什麼變化

各尺寸模型具強烈家族一致性，提示行為相同

為什麼重要

這些洞見讓 AI 從業人員能以最佳穩定性與效能本地部署 Qwen3.5，透過針對性提示解鎖更深層能力。節省本地 LLM 推論的試錯時間。

下一步行動

使用 llama.cpp 運行 Qwen3.5-35B，設定 --temp 0.6 --repeat-penalty 1.4 --top-p 0.95 測試穩定性。

誰應關注：Developers & AI Engineers

關鍵要點

  • •各尺寸模型具強烈家族一致性，提示行為相同
  • •透過提示高度適應，從即時問題轉向深入分析
  • •llama.cpp 設定：35B 用 temp 0.6、repeat-penalty 1.4 消除循環
  • •避免 KV 快取量化，因易增循環與錯誤；建議 f16
  • •系統提示強調使用者意圖而非字面問題效果佳

🧠 深度解析

背景與延伸：來自公開資料，非原文內容。引用 6 個來源。

🔑 增強重點摘要

  • •Qwen3.5採用稀疏MoE架構，總參數397B但每token僅激活17B，解碼速度比Qwen3-Max快8.6至19倍[1][2]。
  • •具原生多模態能力，經早期融合訓練支援文字、影像、影片及UI互動，高解析度影像達1344x1344像素[1][2][4]。
  • •中等模型系列包括35B-A3B（激活3B參數）、122B-A10B及27B稠密模型，皆Apache 2.0開源無限制[3]。
  • •基準表現領先：MMLU-Pro 87.8%、MathVision 88.6%、VideoMME 87.5%，支援256K上下文可擴至1M[2][5]。
📊 競品分析▸ Show
模型架構活躍參數基準亮點定價/存取
Qwen3.5-397B-A17B稀疏MoE + Gated Delta17BMMLU-Pro 87.8%, 超越Qwen3-Max/Qwen3-VLApache 2.0開源, Together AI API[1][2][3]
Qwen3-235B-A22B (前代)MoE22B被Qwen3.5-35B-A3B超越開源[3]
GPT-5 mini稠密未明SWE-bench 72.4 (Qwen3.5-27B持平)封閉[3]

🛠️ 技術深入

  • •總參數397B，稀疏MoE架構每token激活17B，結合Gated Delta Networks與多token預測(MTP)提升推論吞吐量[1][2][4]。
  • •詞彙248,320 tokens，支援256K原生上下文(262,144 tokens)，經YaRN RoPE擴展至1M[2]。
  • •多模態訓練：異質基礎設施同時訓練視覺與語言，異步強化學習使用FP8壓縮與推測解碼加速3-5倍[1]。
  • •中等系列：35B-A3B激活3B(8.6%)、122B-A10B、27B稠密；支援GGUF量化於8GB VRAM GPU[3]。
  • •NVIDIA NeMo支援LoRA微調與多節點部署，Day 0 Hugging Face整合[4]。

🔮 前景展望AI analysis grounded in cited sources

Qwen3.5將加速開源多模態代理開發
其原生視覺語言融合與高效MoE架構提供像素級UI互動，支援NVIDIA工具快速領域微調[1][4]。
中等模型降低部署門檻達GPT-5 mini水準
35B-A3B僅激活3B參數即超越前代235B，並於8GB GPU運行，Apache 2.0無限制[3]。
1M上下文將主導長程代理任務
Qwen3.5-Plus預設1M視窗與內建工具，提升複雜多步驟工作流程效率[2][5]。

⏳ 時間線

2026-02
Qwen團隊發布Qwen3.5系列，包括397B-A17B旗艦與中等模型如35B-A3B[1][3]
2026-02-24
發佈Qwen3.5中等模型系列，四款MoE與稠密模型開源於Hugging Face等平台[3]
2026-02
GitHub QwenLM/Qwen3.5儲存庫上線，Apache 2.0授權獲625星[6]
2026-02
Alibaba Cloud Model Studio推出Qwen3.5-Plus，支援1M上下文與OpenAI相容API[5]
🦙閱讀原文： Reddit r/LocalLLaMA
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #local-inference

同產品

更多關於 Qwen Chat

同來源

最新來自 Reddit r/LocalLLaMA

Windows 為何成為 AI PC 的絆腳石

Windows 為何成為 AI PC 的絆腳石

虎嗅•Aug 22
🦙

為 16GB VRAM 調校 Qwen3.8

Reddit r/LocalLLaMA•Aug 22

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。