Search

Tag: #failure-analysis8 results

LLM 代理失敗模式的統一分類法

本研究綜合了 27 篇論文，將 LLM 代理的限制歸納為六大失敗集群，包括工具使用、規劃及長程推理。研究指出，單一子任務的性能提升並不能保證複雜代理工作流程的端到端可靠性。

推出 HORIZON 基準測試，用以系統診斷 LLM 代理在跨領域長視野任務的失敗。評估 GPT-5 變體與 Claude 等 SOTA 模型，涵蓋 3100+ 軌跡，揭示退化模式。發布排行榜與經人類註解驗證（κ=0.84）的 LLM-as-a-Judge 流程。

TMLR 論文使用推理類型與失敗性質的二維框架，系統分類 LLM 推理失敗，彙整碎片化文獻。轉移焦點從效能提升至邏輯、數學等深層結構缺陷。Stanford 與 UIUC 作者提供統一視角以利未來改善。

這項研究提出以互動為核心的分類法，將 Agent 失敗定位到模型、Harness、使用者、工具、記憶體與環境之間的互動。其 41 種失敗模式可指出修復工作應歸屬於模型後訓練、Harness 工程、環境重新設計或基準測試修正。

被稱為「中國版立頓」的茶里 CHALI 在跨界瓶裝茶失敗後瀕臨破產，凸顯了依賴資本與流量的新消費品牌所面臨的困境。