Formalizing Trust Calibration for Agentic Tool Use

•該研究將信任校準視為偏好學習問題，這與廣泛的人機協作領域中，人類對AI的信任校準常出現過度信任或信任不足的挑戰相呼應，且信任往往是特定領域而非全局性的。
•透過高斯過程量化不確定性，使AI代理能夠「知道自己不知道什麼」，這對於建立誠實且可靠的AI系統至關重要，因為傳統的置信度分數可能不準確，導致用戶誤判。
•策略閘道的引入，將代理操作分為允許、封鎖或詢問，這體現了在AI代理日益自主化的趨勢下，如何有效管理人機協作中的信任邊界和決策權限，以避免「算法厭惡」或「算法贊賞」等信任失衡問題。
•研究強調針對不確定性目標查詢進行優化，而非單純的設計優化，這與可信賴AI (Trustworthy AI) 領域中，需全面考慮公平性、隱私、穩健性、可解釋性及不確定性量化等多方面互動的趨勢一致。

信任校準模型: 該研究將信任校準形式化為一個偏好學習問題，利用二元人類回饋來訓練模型，這通常涉及從人類對代理操作的「接受」或「拒絕」中學習隱含的偏好或獎勵函數。
不確定性量化: 採用高斯過程 (Gaussian Process, GP) 來量化代理操作的不確定性。GP 是一種貝葉斯機器學習模型，它為每個輸入點提供一個預測分佈（包括均值和方差），而非單一點估計。其中，預測方差被解釋為不確定性的估計。
策略閘道 (Policy Gateway): 實作一個決策機制，根據高斯過程計算出的不確定性，將代理的操作分為三類：當不確定性低且預期效益高時，代理自主執行操作（允許）；當不確定性低但預期效益低或風險高時，代理阻止操作（封鎖）；當不確定性高時，代理請求人工批准或介入（詢問），以收集更多資訊來減少不確定性。
優化目標: 優化過程旨在針對不確定性目標進行查詢，而非傳統的單純設計優化。這可能涉及主動學習 (Active Learning) 策略，即系統主動選擇最有資訊量的查詢點（即不確定性最高的區域）來獲取人類回饋，從而更有效地校準信任模型。

未來AI代理將能更精確地理解其知識邊界，並在必要時主動尋求人類協助。

透過形式化信任校準和不確定性量化，代理系統能更有效地識別高風險或不確定的情境，從而提升人機協作的效率與安全性。

該研究方法將加速可信賴AI (Trustworthy AI) 系統的發展，特別是在高風險應用領域。

透過將信任校準形式化並結合不確定性管理，此方法為開發具有可證明可靠性和安全保證的AI系統提供了基礎。

人類與AI之間的互動模式將從被動接受轉變為更主動、動態的信任管理。

策略閘道允許AI根據其不確定性主動調整自主程度，促使人類用戶在關鍵時刻參與決策，從而建立更健康的信任關係。

代理工具使用的信任校準形式化研究