Qwen3.5 4B 過度思考簡單任務

🔑 增強重點摘要

• •Qwen3 4B 在 Ollama 上輸出 token 吞吐量比 Qwen2.5-7B 低約 1.54 倍，且總 token 吞吐量低約 3 倍，主要因預填充能力差異[1]。
• •Qwen3 模型預設啟用思考模式以提升多步驟任務推理，但可透過指令手動關閉以降低延遲[5]。
• •Ollama 在 Qwen3.5 模型上存在參數設定問題，可能導致無限迴圈行為，社群已回報多個相關 GitHub issue[3]。

🛠️ 技術深入

• •Qwen3 4B 模型在 Ollama q4_K_M 量化下，第一 token 時間消耗約為 Qwen2.5-7B 的 1.1 倍[1]。
• •Qwen3 系列 MoE 模型僅激活任務所需子集參數，例如 Qwen3 235B 僅使用 22B 參數進行推理，提升計算效率[5]。
• •Ollama 引擎並發性能較弱，尤其在輸出 token 吞吐量上表現不佳，建議使用相同量化設定與提示長度進行基準測試[1]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線