🐯虎嗅•最新收集於 18m
Anthropic 研究員警告 AI 失控風險
#ai-safety#ai-governance#autonomous-agentsanthropic-ai-safetyanthropicopenaijacob-coxonjakub-pachocki
💡Anthropic 研究員據報離職，揭露遞迴式自我改進與自動化 AI 研究背後的安全矛盾。
⚡ 30-Second TL;DR
有什麼變化
專注於利用 AI 系統訓練新模型的研究員 Jacob Coxon，據報導在加入 Anthropic 前曾任職於 OpenAI，之後因安全疑慮離職。
為什麼重要
若相關擔憂屬實，安全團隊配置與治理能力可能成為前沿模型公司的戰略限制。AI 建置者應預期，自治研究代理、模型互訓迴圈、網路攻擊能力與部署控管將受到更嚴格的審查。
下一步行動
為任何能修改模型、訓練資料或正式環境程式碼的代理工作流程加入人工核准、不可竄改日誌與網路隔離。
誰應關注：Researchers & Academics
關鍵要點
- •專注於利用 AI 系統訓練新模型的研究員 Jacob Coxon，據報導在加入 Anthropic 前曾任職於 OpenAI，之後因安全疑慮離職。
- •他警告遞迴式自我改進可能使 AI 能力加速到超出人類控制，甚至可能在隔年年底前出現失控局面。
- •OpenAI 曾公開說明朝向自動化 AI 研究實習生與自動化 AI 研究員的進展，其首席科學家則呼籲放慢開發速度。
- •文章認為，若沒有強力政府介入或全產業協調限制，任何單一公司都無法安全地開發 AGI。
- •據稱已有超過1,000名 AI 研究人員支持建立類似緊急煞車系統的跨國協調機制。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 虎嗅 ↗
每週 AI 簡報
每週一封，可隨時退訂。