
Unsloth 更新所有 Gemma-4 模型
Unsloth 已更新 Hugging Face 上所有 Gemma-4 上傳,包含 Google 最新 commit 的聊天模板及其他修正。使用者應重新下載以獲改進。社群感謝團隊在 Gemma-4 發行後的快速支援。
Tag: #chat-template6 results

Unsloth 已更新 Hugging Face 上所有 Gemma-4 上傳,包含 Google 最新 commit 的聊天模板及其他修正。使用者應重新下載以獲改進。社群感謝團隊在 Gemma-4 發行後的快速支援。
開發者追蹤 Qwen 3.5 的過多快取遺漏至其聊天模板,該模板在工具呼叫後發出空的歷史 <think> 區塊,導致提示漂移。一行修正可防止大型上下文重新處理。已在 Hugging Face 儲存庫開啟 PR。
Gemma 4 GGUFs 的聊天模板已於數日前修復。使用者應從 bartowski 和 unsloth 等推薦 Hugging Face 來源更新。提供多種尺寸:31B、26B-A4B、E4B、E2B。

Qwen3.6 在思考鏈(CoT)推理過程中可靠維持上下文,如選擇的數字,跨多輪迭代。偶爾難以堅持數字,但特定旗標下表現良好。使用 --chat-template-kwargs '{"preserve_thinking": true}' 啟用。
提供自訂 Jinja 聊天模板,修復 Qwen 3.5 instruct 模式(禁用思考)在 llama.cpp 的提示重處理問題。問題源於歷史中剝離空 think 區塊導致完整重處理。模板現保留空標籤並移除有內容者。
使用者回報 Unsloth GGUF 量化版本在 Qwen3.5 小型密集模型中無法啟用思考功能,不論傳入何種參數。Unsloth 文件指出 0.8B、2B、4B、9B 模型預設停用推理,可透過 --chat-template-kwargs '{"enable_thinking":true}' 啟用。Bartowski 量化版本則正常運作。