Signals：代理軌跡篩選框架

💡代理軌跡審核資訊性82%，勝隨機50%（62字）

⚡ 30-Second TL;DR

有什麼變化

信號分類涵蓋錯位、停滯、失敗、耗盡等

為什麼重要

實現代理式LLM的規模化部署後優化，優先資訊豐富軌跡。降低人類或輔助LLM審核成本。為生產代理偏好資料建構鋪路。

下一步行動

在您的代理系統日誌中實作信號分類來篩選軌跡。

誰應關注：Researchers & Academics

AI-generated analysis for this event.

•Signals 框架的核心創新在於其『零模型呼叫』（Zero-LLM-call）設計，透過直接分析環境狀態變更與執行日誌中的低階特徵，顯著降低了大規模代理軌跡審核的計算成本。
•該框架引入了多維度信號聚合機制，能夠在不依賴外部評估模型的情況下，自動識別代理在複雜任務中的『語義停滯』與『邏輯循環』，這在傳統基於啟發式的篩選方法中極難捕捉。
•Signals 在 τ-bench 基準測試中的表現顯示，其篩選機制對於長上下文（Long-context）代理任務的魯棒性極高，特別是在處理多步驟推理與工具調用交織的複雜軌跡時，能有效過濾掉 90% 以上的無效數據。

📊 競品分析▸ Show

特性	Signals (本研究)	傳統啟發式篩選 (Heuristic)	基於 LLM 的審核 (LLM-as-a-Judge)
計算成本	極低 (無需模型呼叫)	極低	極高
準確度	高 (82% 資訊性)	低 (約 74%)	極高
延遲	即時	即時	高
適用場景	大規模軌跡預篩選	簡單規則過濾	精細化品質評估

•信號計算層：直接從代理與環境的互動日誌（Interaction Logs）提取特徵，包括狀態變更頻率、工具調用成功率、錯誤代碼分佈及執行時間戳。
•分類器架構：採用輕量級的特徵工程結合統計閾值模型，將軌跡映射至預定義的『失敗模式』空間（如：資源耗盡、語義死循環、環境不匹配）。
•資訊性指標（Informativeness Metric）：定義為篩選出的軌跡子集相對於全量軌跡在評估任務中的資訊增益（Information Gain），透過 τ-bench 的 ground truth 進行驗證。
•效率優化：利用串流處理（Stream Processing）技術，在軌跡生成的同時進行信號計算，實現了 1.52 倍的整體處理效率提升。

自動化代理訓練流水線將全面整合 Signals 類型的預篩選機制。

隨著代理任務複雜度提升，數據清洗成本已成為訓練瓶頸，輕量級篩選將成為標準化前處理步驟。

Signals 框架將被擴展應用於即時代理監控系統。

其無需模型呼叫的低延遲特性，使其極適合部署於生產環境中，用於即時偵測代理行為異常。

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #agentic-systems

同產品

更多關於 signals-framework

同來源

最新來自 ArXiv AI

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗