Fixing Decision Failures in Long-Horizon Research Agents

•AI代理在生產環境中常因傳統單一指標無法捕捉多步驟推理、工具選擇及上下文管理等複雜行為而失效，導致評估與實際表現之間存在顯著落差。
•多代理系統在擴展時會面臨「隱形崩潰」問題，即系統表面運作正常但因推理密度漂移或上下文膨脹而陷入結構性不穩定，導致經濟或操作上不可行，而非明確的錯誤訊息。
•為確保AI代理的可靠性，業界精英團隊採用多層次評估框架和可觀察性基礎設施，涵蓋會話級結果、追蹤級工作流程和跨度級操作，而非僅依賴單一指標。
•多目標優化 (MOO) 方法能讓AI代理平衡速度、準確性、成本和安全性等多個競爭目標，透過識別帕累托最優解集來避免單一目標優化可能導致的不安全或不切實際的結果。

外部審計控制迴路 (External Audit Control Loop): 該迴路透過評估細分數據而非單一指標來確保科學有效性。這與AI代理評估中從單一結果指標轉向多維度、細粒度分析的趨勢一致，例如追蹤會話級結果、工作流程和操作跨度。
細分數據評估 (Segmented Data Evaluation): 為了識別底層數據的結構性崩潰，評估需超越傳統的準確度或單一成功率，涵蓋如工具選擇準確性、任務完成率、幻覺率、上下文一致性、自主性分數及恢復率等多個維度。
整體評估框架 (Holistic Evaluation Framework): 結合「由下而上」評估（在執行追蹤的葉節點計算指標並向上傳播結果以精確定位故障）與「由上而下」診斷（評估代理級別的模式以捕捉系統範圍的低效率），以實現精確的故障定位和根本原因分析。
多目標優化 (Multi-Objective Optimization, MOO): 代理可利用MOO平衡多個競爭目標，如速度、準確性、成本和安全性，透過識別帕累托最優解集來避免單一指標優化帶來的次優結果。
代理數據骨幹 (Agentic Data Backbone): 對於企業級AI代理，需要一個共享且受治理的數據基礎，包含結構化、上下文、行為、語義、信任、策略、生命週期、互動和溯源數據等九種規範數據類型，以確保意義、權威性和可審計性。

AI代理的可靠性將成為其在科學研究中廣泛應用的關鍵瓶頸。

隨著AI代理承擔更複雜的科學任務，其決策失效的風險若未能有效解決，將嚴重阻礙其在受監管或高風險領域的部署。

對AI代理的評估將從單一指標轉向更全面、情境感知和多維度的框架。

傳統指標無法捕捉AI代理在多步驟推理、工具使用和環境互動中的複雜行為，促使業界尋求更細粒度的評估方法。

人類在AI輔助的科學發現中將扮演更重要的審計和監督角色。

即使AI代理能夠自主執行研究，人類的判斷、道德監督和對AI輸出進行驗證的需求仍然不可或缺，尤其是在確保科學完整性和避免偏見方面。

1960年代

早期AI代理以簡單的基於規則系統出現，能力受限於預設邏輯和決策樹，缺乏學習和適應能力。

1980年代

強化學習技術興起，使代理能夠在環境中行動、接收反饋並調整行為，建立了經典的代理式循環架構。

2020年代初期

代理式AI系統興起，能夠透過複雜推理解決問題，但其在生產環境中的可靠性與評估挑戰逐漸浮現。

2023-06-26

OECD報告強調AI在科學發現中的挑戰與機會，包括對可解釋性、不確定性處理及AI在科學中危險與弱點的關注。

2025-04-15

Galileo AI報告指出，AI代理指標在生產環境中常因無法捕捉多步驟推理和上下文管理而失效，強調全面評估的重要性。

2026-01-26

deepsense.ai文章分析多代理系統在擴展時崩潰的原因，指出單一「超級代理」成為瓶頸、用戶信任喪失、上下文膨脹等問題。

修正長程研究代理的決策失效問題