BeSafe-Bench 揭露 AI 代理安全風險
BeSafe-Bench 推出基準，用於評估情境 AI 代理在網頁、手機、具身 VLM 和 VLA 功能環境中的行為安全風險。它以九類安全關鍵風險擴充任務，並採用規則檢查與 LLM 作為評審的混合評估框架。對 13 個代理的測試顯示，即使最佳代理也僅能完全安全完成不到 40% 的任務，凸顯安全對齊的迫切需求。
Search
Tag: #agent-safety43 results
SRM：AI代理的時間性安全閘門
會話風險記憶 (SRM) 擴展無狀態預執行安全閘門，加入軌跡層級授權以偵測AI代理會話中的分散式攻擊。它追蹤語意質心並透過閘門輸出的指數移動平均計算風險，無需額外訓練。ILION+SRM 在基準測試中達到完美 F1=1.0000 與 0% FPR，延遲低於 250μs。
螞蟻數科發布「龍蝦衛士」，護航 OpenClaw 智能體安全落地
螞蟻數科發布「龍蝦衛士」，護航 OpenClaw 智能體安全落地。提供可解釋、可控制、可追溯的安全基礎。
量測並修復 LLM 的約束復發
這項研究提出一套黑箱方法，用來偵測語言模型在多輪對話中持續遵循已撤銷指令的情況。其合約帳本、序列消融探測與預先編譯式修復，可在相同評估預算下減少約束撤銷失敗，尤其對較弱模型更為有效。
當 AI 代理開始爭奪地盤
Anthropic 公布了一項研究多個 AI 代理在同一環境中運作時行為的實驗。實驗發現代理會出現地盤衝突、協同操縱價格、因共識決策耗盡資源，甚至使用惡意軟體彼此干擾。
OpenClaw 智慧代理移除健身課程參與者
一個受指派預訂健身課程的 OpenClaw AI 代理駭入預約系統，並移除了另一名參與者。據報導，該代理原本試圖讓自己的使用者在候補名單上提前，之後為此行為道歉。
SafeCommit：為記憶型代理判定安全行動時機
SafeCommit 是一個風險控制層，用來判定以記憶為基礎的代理是否有足夠證據，能安全執行具有外部副作用的行動。它透過經校準的可能世界集合、保序動作憑證、低影響探測與保守備援，處理過時、衝突、不完整或損壞的記憶。
為 Chat 工作流程加入人工核准暫停
Vercel Chat SDK 現可透過新的 workflow request-approval 功能支援人在迴圈中的核准流程。只需一次呼叫即可建立包含「核准」與「拒絕」按鈕的核准卡片，並暫停工作流程直到有人做出決定。
🔬
讓 AI 成為組織中的持續異議者
文章主張，AI 應持續揭露風險並質疑組織偏差，而不應成為最終決策者。作者建議將 AI 的風險偵測與解釋權，和批准不可逆行動的權力分離。