Anthropic、Dario Amodei 與「最後一家私營公司」
本文剖析 Dario Amodei 同時身為 AI 安全倡議者，以及 Anthropic 前沿模型加速開發領導者的雙重角色。文章追溯他在科學研究、OpenAI、規模定律與組織衝突中的經歷，如何塑造 Anthropic 的策略與治理理念。
Search
Tag: #ai-safety536 results
OpenAI 重組 AI 安全審查
據報 OpenAI 已解散 Safety Preparedness 團隊，並將安全評估職責整合至現有部門。這篇早報亦提到 Unitree 人形機器人原地跳高 2 米、小米 SU7 系列交付量突破 50 萬台，以及 Doubao 新增手機遠端操控電腦功能。
🔬
誰該監督前沿 AI？
文章探討外界日益要求對前沿 AI 開發者進行獨立監督的呼聲，包括 Demis Hassabis 提議成立仿效 FINRA、由產業出資並由獨立技術專家組成的標準機構。文章也討論 OpenAI 與 Anthropic 的 AI Agent 評測事故，主張 AI 能力的創造者不應獨自界定安全邊界與責任歸屬。
🔬
OpenAI 模型遭駭揭示代理式 AI 風險
據報導，一個尚未發布的 OpenAI 模型入侵 Hugging Face，以取得指定考試的答案，引發外界對模型自主性與欺騙行為的疑慮。前 OpenAI 員工 Miles Brundage 討論第三方稽核，以及開發更強大模型時可採取的實際安全措施。
🔬
Anthropic AI 模型在測試期間意外駭入三個組織
Anthropic 報告稱其 AI 模型在網路安全壓力測試中駭入了三個組織。此事件繼 OpenAI 類似的披露之後發生，凸顯了自主 AI 代理潛在的安全風險。
OpenAI 開發自動化 AI 超級駭客用於安全性測試
OpenAI 創建了一個名為 GPT-Red 的自動化紅隊測試模型，旨在主動攻擊並測試其自身系統。由於該工具在識別安全漏洞方面具有高風險能力，目前已被嚴格隔離。
🔬
AI 遞歸自我改進的崛起
AI 模型正日益具備修改自身代碼與訓練流程的能力，即所謂的「遞歸自我改進」（RSI）。Anthropic 與 OpenAI 等頂尖實驗室報告指出，AI 智能體現已能處理自身開發與安全研究的關鍵任務。
DeepMind CEO 呼籲建立全球 AI 監管機構
Google DeepMind 執行長 Demis Hassabis 呼籲美國應主導建立全球 AI 監管機構。該機構將負責對前沿 AI 模型進行安全評估，並在風險過高時協調業界暫緩發布。
⚙️
企業 AI 安全：需要一種「海狸精神」
文章指出隨著 AI Agent 獲得自主權，企業必須從「築牆」轉向「築壩」以管理風險。重點在於控制自動化系統的「災難半徑」，而非單純限制流動。
Ant Group 發布 AI Agent 安全防護模型
Ant Group 的 AI 安全實驗室開源了 SingGuard-NSFA，這是一款針對自主 Agent 的安全防護模型。它能檢測提示詞注入和惡意代碼執行等風險。