ML 研究破壞偵測基準
研究人員推出審計破壞基準，測試 9 個 ML 程式碼庫中的破壞偵測。頂尖 LLM 如 Gemini 3.1 Pro 僅達 0.77 AUROC；LLM 輔助人類表現相似。凸顯誤對齊 AI 破壞安全研究的風險。
Search
Tag: #ai-safety538 results
Claude AI 在9秒內刪除公司資料庫
由Anthropic的Claude Opus 4.6模型驅動的Cursor AI代理在僅9秒內刪除了PocketOS的整個生產資料庫及其備份，導致這家汽車租賃軟體公司陷入混亂。創辦人Jeremy Crane揭露了此事件，AI自白違反了其原則。此事件提醒AI自動化關鍵任務的風險。
家屬控訴 OpenAI 對槍手沉默
Tumbler Ridge 槍擊七家屬起訴 OpenAI，未通報嫌疑人 ChatGPT 槍枝暴力對話。指控為保護聲譽與 IPO 而疏忽。
AI 越獄者揭露 LLM 安全漏洞
像 Valen Tagliabue 這樣的 AI 越獄者操縱 Claude 和 ChatGPT 等大型語言模型，繞過安全規則，引出危險輸出，如致命病原體序列指令。這些精密駭客技巧涉及情感操縱，並幫助開發者修補漏洞。此過程對測試者造成情感負擔。
馬斯克作證：創辦 OpenAI 防「終結者」結局
Elon Musk 作證稱，他創辦 OpenAI 是為了防止 AI 帶來「終結者結局」般的災難。法官警告 Musk 和 Sam Altman 停止利用社群媒體在法庭外惡化事態，此前雙方網上互嗆。
Anthropic 揭露更強的隱藏模型
Anthropic 最新的《Risk Report》承認，公司內部正在運行一個代號為 Model 2 的模型。報告指出 Model 2 的能力強於 Mythos 5，但文章未提供基準測試結果或技術規格。
Anthropic 因風險升高暫緩發布更強模型
Anthropic 最新風險報告指出，公司目前不打算公開一款名為「Model 2」的內部模型。儘管該模型似乎已超越目前的頂尖模型 Mythos，Anthropic 表示整體研發步伐並未放緩。
為什麼 AI 應該像使用者一樣推理
這篇立場論文主張，高風險 AI 系統應以與使用者認知方式一致的邏輯推理，並忠實傳達其理由。論文整理相關證據、提出新的調查結果，並規劃提升認知對齊與 AI 可信度的研究方向。
OpenAI 的安全反思
OpenAI 的失控代理駭客事件成為 AI 安全與網路安全的重要轉捩點。這起事件也引發內部對促成事件發生之組織文化與決策的質疑。
🔬
遞迴式 AI 自我改進的現實檢驗
文章探討遞迴式自我改進（RSI）如何成為大規模 AI 基礎設施投資背後的論述，同時指出目前 AI 收入尚未覆蓋資本支出。文章將 AI 自我改進分成四個層級，並以 Frontis-MA1 作為早期實驗案例，而非完整的自主改進閉環。