Qwen 3.5 聊天模板快取問題曝光

🔑 增強重點摘要

• •此問題源於 Qwen 3.5 的 Jinja2 聊天模板在處理工具呼叫（Tool Call）時，未能正確處理推理模型（Reasoning Model）特有的 <think> 標籤，導致在多輪對話中產生不必要的空標籤。
• •快取遺漏（Cache Miss）的根本原因在於 KV 快取（KV Cache）的鍵值依賴於輸入提示的精確匹配，空 <think> 區塊的動態插入導致了提示詞雜湊值（Hash）的改變，迫使模型重新計算整個上下文。
• •社群開發者指出，此問題不僅影響推理效能，還會顯著增加 API 呼叫的延遲與計算成本，特別是在長上下文（Long-context）場景下，效能損失可達數倍。

🛠️ 技術深入

• •問題核心：Jinja2 模板中的 {% if message.reasoning_content %} 邏輯判斷在工具呼叫後，因 reasoning_content 為空字串或 None，導致模板引擎渲染出 <think></think> 結構。
• •KV 快取機制：在 llama.cpp 等推理引擎中，KV 快取是基於 Token ID 序列的。即使是空標籤，也會被 Tokenizer 轉換為特定的 Token ID，從而導致快取失效。
• •修正方案：將模板邏輯修改為 {% if message.reasoning_content or (message.reasoning_content is not none and message.reasoning_content != '') %}，確保僅在存在實際推理內容時才渲染 <think> 標籤。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線