Securing the future of AI agents

•DeepMind 的 AGI 安全與對齊團隊專注於放大監督、前沿安全（危險能力評估）和機械可解釋性，以確保 AI 系統的安全性。
•DeepMind 推出了「前沿安全框架」，旨在主動識別並減輕來自強大前沿 AI 模型可能造成的嚴重風險，特別關注自主性、生物安全、網路安全和機器學習研發等領域。
•DeepMind 已識別並分類了「AI 代理陷阱」，這些是對抗性內容，旨在操縱、欺騙或利用訪問網路的 AI 代理，攻擊其感知、推理、記憶、行動、多代理動態和人類監督者等層面。
•DeepMind 正在投資多代理 AI 安全研究，以應對當大量 AI 代理互動時可能出現的難以預測的集體行為和新興能力。
•「前沿安全框架」包含「關鍵能力水平」(Critical Capability Levels, CCLs)，用於評估 AI 濫用和欺騙性對齊的風險，並要求定期評估和實施緩解措施。

DeepMind 的 AGI 安全與對齊團隊專注於機械可解釋性研究，並探索因果激勵機制以理解代理的目標和行為。
該團隊採用「放大監督」方法，為模型對齊提供正確的學習信號，並透過「前沿安全」評估模型是否具備造成災難性風險的能力。
「前沿安全框架」利用「關鍵能力水平」(Critical Capability Levels, CCLs) 來識別 AI 模型在自主性、生物安全、網路安全和機器學習研發等高風險領域可能構成嚴重危害的能力閾值。
DeepMind 識別出六類「AI 代理陷阱」：內容注入陷阱（針對感知）、語義操縱陷阱（針對推理）、認知狀態陷阱（針對記憶）、行為控制陷阱（針對行動）、系統性陷阱（針對多代理網路）以及人機協作陷阱（針對人類監督者）。
針對 AI 錯位（misalignment）的緩解措施包括「模型層面緩解」如放大監督、引導模型行為和穩健訓練，以及「系統層面緩解」如 AI 控制、安全措施、監控、存取限制和模型權重保護。
安全緩解措施將 AI 系統視為不受信任的內部人員，採用存取控制、異常檢測、日誌記錄和審計等機制。
DeepMind Control Suite 是一套連續控制任務，具有標準化結構和可解釋的獎勵，旨在作為強化學習代理的性能基準，並由 MuJoCo 物理引擎提供支援。

AI 代理的自主性將大幅提升，但同時也將面臨更複雜的環境型攻擊。

DeepMind 對「AI 代理陷阱」的研究表明，隨著 AI 代理與網路和外部工具的互動增加，其攻擊面也隨之擴大，需要更精密的防禦機制。

多代理 AI 系統的安全與協調將成為 AI 安全研究的關鍵前沿。

DeepMind 正投入資金研究大規模多代理 AI 系統的集體行為，以預測和緩解當獨立系統互動時可能出現的「隱形」安全風險。

國際合作與標準化對於管理前沿 AI 的全球影響至關重要。

DeepMind 已探討建立國際治理機構的必要性，以協調全球在先進 AI 發展中的機遇與風險管理。

2010

DeepMind 成立。

2014

Google 收購 DeepMind，並成立 AI 倫理委員會。

2016

DeepMind 開發「大紅按鈕」概念，用於安全暫停或關閉 AI。

2023-07

DeepMind 發表論文探討全球 AI 治理機構。

2024-05

DeepMind 推出其「前沿安全框架」(Frontier Safety Framework)。

2026-04

DeepMind 研究人員發表「AI 代理陷阱」論文，詳細說明六類攻擊。

確保 AI 代理的未來安全