Qwen3.5-35B 在 llama.cpp Claude Code 下崩潰

🔑 增強重點摘要

• •llama.cpp 在處理 Qwen3 系列模型時存在多個已確認的崩潰問題，特別是在長上下文（約 80K 令牌）和工具調用組合下，影響 CUDA、ROCm 和 Vulkan 等多個後端[2]
• •Qwen3.5-35B 模型在 llama.cpp 中的載入失敗問題已在版本 b8149 中修復，但後續版本（如 b8179）仍報告新的崩潰情況，表明修復不完整或引入新的迴歸[4]
• •ROCm 後端對較新 Qwen 模型的支援存在特定問題，使用者報告在 ROCm 下應用程式持續崩潰，而相同模型在 Vulkan 後端運作正常[6]

🛠️ 技術深入

• •Qwen3-Coder-Next 模型在 llama.cpp 中的崩潰與令牌位置不一致導致的解碼失敗有關[2]
• •bf16 張量載入問題：使用 bf16 張量的 GGUF 模型（如 Qwen3.5-35B-A3B-UD-Q8_K_XL）在某些工具中會產生 SIGSEGV 崩潰，但在其他實現中運作正常[3]
• •完整提示重新處理機制在 Qwen3 模型中存在快取問題，導致不必要的完整提示重新處理和無效輸入錯誤[2]
• •語法錯誤輸出問題源於分塊邏輯錯誤，在工具使用場景中導致輸出品質不佳[2]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線