🦙較早收集於 28m

排查 Qwen3.6-27B 的無限工具呼叫迴圈問題

PostLinkedIn
🦙閱讀原文: Reddit r/LocalLLaMA

💡陷入工具呼叫迴圈了嗎?了解如何緩解 Qwen3.6-27B 的重複代理行為。

⚡ 30-Second TL;DR

有什麼變化

Qwen3.6-27B 出現重複的工具呼叫迴圈

為什麼重要

此錯誤阻礙了使用 Qwen3.6-27B 進行代理人工作流的可靠性,開發者需實作自訂的防護機制。

下一步行動

在你的代理人執行迴圈中實作硬編碼的迭代次數限制,以防止無限工具呼叫。

誰應關注:Developers & AI Engineers

關鍵要點

  • Qwen3.6-27B 出現重複的工具呼叫迴圈
  • 調整參數(temperature, top-k)無法解決此問題
  • 社群正尋求代理人工作流穩定性的解決方案

🧠 深度解析

Web-grounded analysis with 20 cited sources.

🔑 增強重點摘要

  • Qwen3.6-27B 的無限工具呼叫迴圈問題並非單一事件,而是大型語言模型 (LLM) 在工具呼叫情境中常見的挑戰,通常源於工具回饋模糊、結果不完整或代理人缺乏狀態約束等原因。
  • 儘管 Qwen3.6-27B 專為「代理編碼」和「思維保留」功能設計,旨在透過保留跨回合的推理上下文來提高代理工作流程的穩定性,但目前回報的問題與其設計目標相悖。
  • 社群討論指出,此類迴圈問題可能與 repeat_penalty 參數設定過高(例如超過 1.15)或工具鏈過於複雜有關,這會導致模型在重複使用必要結構化 JSON 令牌時產生混淆。
  • Qwen3.6-27B 採用混合式 Gated DeltaNet 和 Gated Attention 架構,旨在提高效率並支援長達 262,144 個令牌的原生上下文長度(可擴展至 1,010,000 個令牌),這對於處理複雜的代理任務至關重要。
  • 此問題已在 Qwen3.6 及 Qwen3.5 系列的其他模型中被其他使用者回報,顯示這可能是 Qwen 模型在代理人工作流程中需要進一步優化的普遍行為模式。
📊 競品分析▸ Show
特性/模型Qwen3.6-27B (Alibaba)Claude 4.5 Opus (Anthropic)Gemini 3.1 Pro (Google)GPT-4o (OpenAI)
參數數量27B (密集)未公開 (通常較大)未公開 (通常較大)未公開 (通常較大)
上下文窗口262,144 (原生), 可擴展至 1,010,000 令牌未公開 (通常較大)1,000,000 令牌未公開 (通常較大)
模態多模態 (文字、圖像、影片輸入)多模態 (文字、圖像、影片輸入)多模態 (文字、圖像、影片輸入)多模態 (文字、圖像、音訊、影片輸入)
代理編碼/推理強 (專為代理編碼設計,支援思維保留)強 (代理人任務排名高)強 (在代理任務中表現競爭)強 (代理人任務排名高)
許可證Apache 2.0 (開源)專有專有專有
輸入價格 (每百萬令牌)$0.289 - $0.60$15.00$2.00$5.00
輸出價格 (每百萬令牌)$2.40$75.00未公開$15.00
SWE-bench Verified77.2%80.9% (Claude 4.5 Opus) / 80.8% (Claude Opus 4.6)未公開未公開
Terminal-Bench 2.059.3%59.3% (Claude 4.5 Opus)未公開未公開
SkillsBench Avg548.2%45.3%未公開未公開
GPQA Diamond84.2%未公開94.1% (Gemini 3.1 Pro)未公開

🛠️ 技術深入

  • 模型類型: 帶有視覺編碼器的因果語言模型 (Causal Language Model with Vision Encoder)。
  • 參數數量: 270 億 (密集模型)。
  • 隱藏維度: 5120。
  • 令牌嵌入: 248320 (填充)。
  • 層數: 64 層。
  • 隱藏層佈局: 16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN)),其中四分之三的注意力預算用於線性注意力,每第四個子層執行完整的自注意力。
  • Gated DeltaNet: 具有 48 個 V 和 16 個 QK 的線性注意力頭,頭維度為 128。
  • Gated Attention: 具有 24 個 Q 和 4 個 KV 的注意力頭,頭維度為 256,旋轉位置嵌入維度為 64。
  • 前饋網路 (FFN): 中間維度為 17408。
  • 上下文長度: 原生支援 262,144 個令牌,可透過 YaRN 擴展至 1,010,000 個令牌。
  • 多模態能力: 支援文字、圖像和影片輸入。
  • 多令牌預測 (MTP): 模型頭部內建 MTP,可在服務時進行推測性解碼,無需單獨的草稿模型,通常可將編碼任務的吞吐量提高 1.5-2 倍。
  • 思維模式: 支援「思維模式」以提高準確性,以及「思維保留」功能,可在對話回合中保留模型的推理軌跡,以簡化迭代開發並減少開銷,特別適用於代理人工作流程。
  • 部署靈活性: 可與 Hugging Face Transformers、vLLM、SGLang 和 KTransformers 等流行框架無縫協作。
  • 量化: 提供 FP8 量化版本,可在單一 GPU 上運行 (例如,Q4_K_M GGUF 版本約需 18GB RAM/VRAM,FP8 版本包含 KV 快取、Mamba 狀態和 MTP 權重則需 96GB)。

🔮 前景展望AI analysis grounded in cited sources

Qwen3.6-27B 的無限工具呼叫迴圈問題可能會阻礙其在關鍵代理應用中的採用。
不穩定的工具呼叫直接削弱了自主代理工作流程所需的可靠性,儘管該模型專為此類任務設計。
阿里巴巴雲很可能會優先投入更多資源,研究和開發 Qwen 系列更穩健的代理控制機制。
LLM 工具呼叫問題的普遍性以及 Qwen 對代理能力的重視,使得解決這一核心穩定性問題成為必然。
社群驅動的解決方案和管理 LLM 代理迴圈的最佳實踐對於 Qwen 等開源模型將變得越來越重要。
鑑於其開源性質和社群回饋,共享知識和外部框架對於減輕代理應用中常見的故障模式至關重要。

時間線

2023-04
阿里巴巴推出 Qwen (通義千問) 的測試版
2023-09
Qwen 在獲得監管批准後向公眾開放使用
2024-06
Qwen2 模型系列發布
2025-04-28
Qwen3 模型家族發布,包含密集型和 MoE 模型
2026-04-16
阿里巴巴發布 Qwen3.6-35B-A3B 模型
2026-04-22
Qwen3.6-27B 發布,這是 Qwen3.6 系列中第一個密集的開源模型
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/LocalLLaMA