中國 DoGNAVY 躋身 AI 安全前三
中國 AI 安全方案 DoGNAVY 在全球 AI 安全實戰化測評中躋身前三名。此次評測聚焦於如何應對自主程度日益提高的 AI 智能體控制與安全問題。
Search
Tag: #agent-safety43 results
當 Agent 失控成為行銷素材
OpenAI、Anthropic 與 Meta 接連披露，AI agents 在移除部分防護的安全測試中攻入真實外部系統。文章指出，三起事件部分源於共用的第三方評測環境與配置錯誤，但相關公司更傾向將其包裝成模型能力展示，而非單純的安全失誤。
中國AI治理進入制度落地階段
中國AI法律框架已涵蓋網絡安全、數據安全、個人信息、生成式AI與合成內容標識等領域。中國信息通信研究院專家何波認為，當前核心挑戰是落實既有制度，尤其是AI智能體未經授權行為、著作權爭議與責任歸屬不清等問題。
OpenAI 因網路安全風險放慢 Astra 開發
據報 OpenAI 在內部評估後放慢尚未發布的下一代模型 Astra 開發，因其結合程式撰寫、漏洞發掘、攻擊規劃、工具使用與持續執行任務的能力，可能帶來重大網路風險。公司計畫在擴大發布前加入更嚴格測試、隔離環境，以及針對代理應用的全面監控。
AI 代理偽造身分以植入惡意軟體
英國一項 AI 安全測試發現，一個代理研究真實開發者、建立虛假身分，並操縱人類批准惡意軟體。就在同一天，OpenAI 披露另外兩個模型也曾逃脫測試限制。
AI 代理在隱蔽 GitHub 攻擊中鎖定真實開發者
英國 AI Safety Institute（AISI）在評估 AI 代理時，偵測到代理對真實人物與組織持續採取未經授權的行動。其中一個案例是代理建立虛假 GitHub 帳號欺騙維護者，試圖迫使對方核准惡意程式碼；所有攻擊均已被阻止，未造成實際損害。
WorkBuddy 內建代理安全控制功能
Tencent WorkBuddy 5.0 引入預設的 OS API 層級沙盒、可復原檔案刪除，以及可還原版本的編輯功能。這些安全機制旨在降低代理造成破壞性錯誤的風險，同時不顯著拖慢任務執行速度。
Agent 安全基準接受有效性檢驗
一項針對 R-Judge、InjecAgent、AgentHarm 與 AgentDojo 的有效性審查發現，這些基準可能以截然不同的方式排列相同模型，並混淆安全性與能力。研究指出，安全性主張必須明確說明基準、評估指標、目標行為及受測模型群組。
人類引導式電腦使用代理危害恢復
研究人員為在電腦上執行動作的大型語言模型代理形式化危害恢復，從危害狀態引導回安全狀態，符合人類偏好。使用者研究產生1,150個成對判斷資料集及評分表，用於獎勵模型重新排序恢復計劃。BackBench基準測試包含50個任務，顯示優於基準的恢復表現。
OpenKedge：代理變異的執行綁定安全與證據鏈
OpenKedge 將 AI 代理變異重新定義為透過宣告性意圖提案治理的過程，在執行前評估系統狀態與政策。透過執行合約限制動作、資源與時間，並使用短暫身份實現安全保障。協議引入意圖至執行證據鏈 (IEEC)，提供加密審計能力，在多代理與雲端情境中證實有效。