修復 Qwen 3.5 Instruct 提示重處理問題

🔑 增強重點摘要

• •Qwen3.5 模型支援三種推理模式：'Fast'（快速回應）、'Thinking'（逐步推理）及 'Auto'（自適應工具使用），可透過 API 參數 'enable_thinking': False 切換非思考模式[1][4]。
• •llama.cpp 對 Qwen 系列聊天模板的處理歷史上曾因剝離 區塊導致 KV 快取失效，需自訂 Jinja 模板保留空標籤以維持上下文連貫性。
• •Qwen3.5-35B-A3B 採用 MoE 架構，總參數 35B、激活 3B，原生上下文長度 262,144 令牌，可擴展至 1,010,000 令牌[4]。
• •模型透過早期視覺-語言融合訓練，支援視覺代理如 UI 操作、表單填寫及多步驟工作流程，在 MathVision 基準達 88.6 分[1][2]。

🛠️ 技術深入

• •架構：Gated Delta Networks 結合稀疏 Mixture-of-Experts (MoE)，專家中間維度 512，支援多步預測 (MTP) 及 FP8 壓縮降低 50% 激活記憶體[2][4]。
• •推理模式：Instruct (非思考) 模式建議 temperature=0.7/1.0, top_p=0.8/0.95；Thinking 模式 temperature=1.0/0.6，presence_penalty 調整以避免重複[3][4]。
• •聊天模板控制：使用 /think 或 /no_think 動態切換模式，或 API 設定 'enable_thinking': False 禁用思考以避免 llama.cpp 中的提示重處理[5]。
• •多模態訓練：早期融合文本、圖像、UI 截圖及影片，詞彙擴至 250K 令牌，提升 201 語言編解碼效率 10-60%[1][2]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線