🕷️
SetupAI
EN
📄最新收集於 40m

教會 AI Agent 何時主動取得上下文

教會 AI Agent 何時主動取得上下文
PostLinkedIn
📄閱讀原文： ArXiv AI
#active-inference#agent-orchestration#context-acquisition#information-gainactive-inference-for-ai-agentsarxivoptimal question asking

💡了解如何以系統化方法決定 Agent 應追問、搜尋、執行或停止。

⚡ 30-Second TL;DR

有什麼變化

將上下文取得建模為內部信念更新與外部行動選擇的雙層流程。

為什麼重要

這項研究為「立即回答」或「一律追問」提供了更具原則性的替代方案。若導入 Agent 編排系統，可能在有限上下文與 Token 預算下減少無效工具呼叫並提升回答品質。

下一步行動

在部署下一個 AI Agent 工作流程前，先建立原型策略，以每 Token 預期資訊增益評估澄清、檢索與工具呼叫。

誰應關注：Researchers & Academics

關鍵要點

  • •將上下文取得建模為內部信念更新與外部行動選擇的雙層流程。
  • •框架在考量 Token 與互動成本的情況下，最小化預期自由能。
  • •在確定性環境中，認知目標可轉化為預期資訊增益，並可依 Token 成本進行正規化。
  • •研究使用精確後驗分布與動態規劃建立 Optimal Question Asking 任務的理論最佳解。
  • •應用涵蓋生成前澄清，以及在 Token 預算下進行自動提示最佳化。

🧠 深度解析

背景與延伸：來自公開資料，非原文內容。引用 29 個來源。

🔑 增強重點摘要

  • •主動推論 (Active Inference) 框架的靈感源於人類大腦處理資訊的方式，使其具備固有的彈性和穩健性，能夠在不確定的環境中自然地平衡探索與利用，並根據上下文調整決策策略，例如改變學習率或切換策略，從而實現無需手動調整的性能提升。
  • •大型語言模型 (LLM) 學習提問能力的提升，可透過結合預期資訊增益 (Expected Information Gain, EIG) 作為量化指標，並利用偏好最佳化 (Preference Optimization) 技術進行訓練，例如直接偏好最佳化 (Direct Preference Optimization, DPO)，以生成更具資訊量的問題。
  • •提示詞最佳化對於降低大型語言模型的使用成本至關重要，因為LLM供應商按Token計費，且輸出Token的成本通常是輸入Token的3-5倍。優化策略包括積極壓縮提示長度（如關鍵詞提取、摘要、移除冗餘指令）、使用動態上下文窗口、以及利用快取和批次處理來減少Token消耗，這些方法可將API費用降低40-85%。
  • •AI Agent已從被動回應工具演進為能自主規劃、調用工具、記憶上下文並主動執行任務的夥伴，其核心功能圍繞「感知-規劃-行動」(Perception-Planning-Action) 的循環，並能透過多模態代理工作流來處理複雜的任務。
  • •在大型語言模型中，識別不確定性來源對於提升可靠性、可信度和可解釋性至關重要。透過「輸入澄清集成」(input clarification ensembling) 等框架，可以將總體不確定性分解為隨機不確定性（數據固有隨機性）和認知不確定性（模型訓練數據缺失），從而提高模型在語言處理任務中的不確定性量化準確性。

🛠️ 技術深入

  • 主動推論核心 (Active Inference Core)：該框架根植於貝葉斯推論，透過生成模型來預測感官輸入，並以最小化「變分自由能」(Variational Free Energy) 為核心原則。自由能是衡量系統內部模型與實際感官輸入之間不匹配程度的指標，最小化自由能等同於最小化「驚訝」(surprise) 或不確定性。
  • 雙層流程與內部信念更新：研究將上下文取得建模為內部信念更新與外部行動選擇的雙層流程。內部信念更新涉及代理對世界狀態的概率性建模，並根據新的感官資訊不斷更新這些信念。
  • 外部行動選擇與預期自由能最小化：外部行動選擇旨在最小化預期自由能，這意味著代理會選擇那些能夠減少未來不確定性或使其預測與現實更一致的行動。在確定性環境中，認知目標可轉化為預期資訊增益，並可依Token成本進行正規化。
  • Optimal Question Asking 任務的理論最佳解：研究透過使用精確後驗分布和動態規劃來建立此類任務的理論最佳解，這表明在特定條件下，存在一種數學上最優的提問策略。
  • 生成前澄清與提示最佳化：應用涵蓋在生成內容之前主動尋求澄清，以及在Token預算限制下進行自動提示最佳化。這類技術包括提示壓縮（如關鍵詞提取、摘要、移除冗餘指令）、動態上下文窗口管理、以及快取和批次處理，以降低Token消耗和推論成本。
  • 上下文管理策略：為應對LLM有限的上下文窗口，常見策略包括滑動記憶（保留最近對話）、令牌記憶（保留最後N個Token）、總結記憶（用LLM對對話進行總結壓縮）和長期記憶（將關鍵資訊存入向量資料庫）。

🔮 前景展望AI analysis grounded in cited sources

AI Agent將在不確定環境中展現更接近人類的適應性和效率。
主動推論框架受生物智慧啟發，使Agent能夠根據上下文調整決策策略、平衡探索與利用，並進行自我更新，從而無需手動調整即可提升性能。
大型語言模型推論的成本將透過智慧上下文管理和主動澄清大幅降低。
透過主動獲取必要的上下文並基於Token成本優化提示詞，Agent可以顯著削減API支出，使大規模LLM部署在經濟上更可行。
AI Agent在專業領域的可靠性和可信度將顯著提高。
主動識別和澄清歧義、以及分解不確定性的能力，將使LLM能夠尋求關鍵的缺失資訊，從而減少在臨床推理或程式碼生成等複雜任務中的錯誤。

⏳ 時間線

2017-10
DeepMind發表AlphaGo Zero，展示AI透過自我對弈累積經驗，棋力超越人類棋士，預示AI自主學習與經驗生成的能力。
2022-03
Ithaca模型利用深度神經網路恢復古希臘銘文，展示AI處理模糊歷史數據和在專家輔助下提高準確性的能力。
2022-11
ChatGPT發布，普及了大型語言模型，同時也凸顯了對更優化上下文管理和推理能力的需求。
2022-11
主動推論作為智慧代理架構和代理理論的雙重概念被探討，澄清了其在AI領域的應用潛力。
2024-02
ArXiv發表「Ask Optimal Questions」論文，探討如何使大型語言模型在對話中與檢索器的偏好對齊，以優化提問。
2024-06
ArXiv發表「Learning to Ask Informative Questions」論文，提出透過偏好最佳化和預期資訊增益來增強LLM生成資訊性問題的能力。
📄閱讀原文： ArXiv AI
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #active-inference

同產品

更多關於 active-inference-for-ai-agents

同來源

最新來自 ArXiv AI

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。