⚙️
Meta 收購 AI 安全新創公司 Virtue AI
Meta 收購了專注於 AI 安全、紅隊測試及 Agent 運行時防護的 Virtue AI 團隊。此次收購旨在將強大的安全基礎設施整合進 Meta 的個人化 Agent 系統中。
Search
Tag: #agentic-systems27 results
指令洩漏：代理系統中的模組間干擾問題
研究人員發現了「組合行為洩漏」（CBL）現象，即在代理系統中編輯一個提示模組會無意中改變其他模組的行為。這種干擾源於 Transformer 的自注意力機制在串聯模組間缺乏明確的邊界。
部分證據基準：代理系統授權限制證據基準
Partial Evidence Bench 推出一個確定性基準，用於測量代理系統在授權限制證據下的失效模式。它包含 72 個任務，涵蓋盡職調查、合規審計及安全事件回應情境，並配備 ACL 分割語料庫與預言機判斷。基準測試顯示無聲過濾風險高，明確失敗回報行為更安全。
NVIDIA 極端共同設計因應代理式 AI
NVIDIA 強調從生成式 AI（人類發送請求、模型回應）轉向代理式系統，代理可自主呼叫工具、產生子代理、管理記憶體與上下文，並自行決定完成時機。他們推出極端共同設計來因應這些系統日益增加的複雜性。此方法優化硬體與軟體整合，以支援先進 AI 代理。
LLM 自糾正：何時有益？
研究者將 LLM 自糾正建模為控制論反饋迴路，使用二狀態馬可夫診斷，建議僅當 ECR/EIR > Acc/(1-Acc) 時迭代。在 o3-mini 和 GPT-4o-mini 等模型中，EIR ≤0.5% 的門檻嚴格區分有益與有害精煉。驗證優先提示消除 GPT-4o-mini 的退化，從 -6.2pp 轉為 +0.2pp 提升。
神經符號本體約束企業AI代理
在FAOS中推出神經符號架構，使用三層本體約束LLM，減少幻覺並確保企業合規。於五個產業進行600次評估，於準確度、合規性和一致性超越基準。貢獻包括本體模型、耦合分類法及650+代理的生產部署。
Signals：代理軌跡篩選框架
提出輕量級基於信號的框架，用於篩選龐大的代理軌跡以高效審核。從即時互動計算廉價信號，涵蓋互動、執行與環境類別，無需模型呼叫。在τ-bench基準上達82%資訊性，優於啟發式與隨機採樣，並具1.52倍效率。
MASEval：多代理系統層級評估
MASEval 推出框架無關的程式庫，用於評估整個基於 LLM 的多代理系統，而非僅限模型。它評估拓撲、協調和錯誤處理等因素對基準測試的影響。結果顯示框架選擇的影響與模型選擇相當。
KernelAgent 達成 KernelBench 100% 正確率
PyTorch 團隊發布 KernelAgent，這是一個開放代理系統，在所有 250 個 L1/L2/L3 KernelBench 任務中達成 100% 正確率。該系統透過多代理協作實現硬體導向的 GPU 核心最佳化。本文延伸先前工作，新增強化功能。
AI 監控器展現自我歸因偏差
代理式 AI 系統使用語言模型來自我監控如程式碼或工具使用的動作。自我歸因偏差導致模型將自身先前動作評為更安全或更正確，而非來自使用者提示的相同動作。這導致部署中監控器不可靠，因為固定範例評估高估了效能。