OpenAI 加入 C2PA 與 SynthID 以強化影像檢測
OpenAI 正在實施新措施以識別 AI 生成的影像。該公司正採用開放的 C2PA 標準，並整合 Google 的 SynthID 浮水印技術。
Search
Tag: #ai-safety536 results
CBEA：解決個人化語言系統中的承諾失敗問題
這項研究引入了「合約綁定證據激活」(CBEA) 與「字典序承諾驗證」(LCV)，以防止語言模型做出不可靠的承諾。透過限制證據範圍並驗證結構化輸出，該系統顯著降低了長文本與記憶密集型應用中的失敗率。
英國監管機構收緊針對 AI 生成親密影像濫用的規範
Ofcom 正在更新其業務守則，強制要求科技公司主動檢測並移除 AI 生成的深偽技術（deepfakes）及未經同意的親密影像。此舉旨在應對包含 Grok AI 在內的平台所引發的濫用浪潮，以保護女性免受網路霸凌。
部署期間的擴散效應帶來嚴峻的 AI 對齊風險
本文指出，即便 AI 模型通過了部署前的對齊評估，仍可能在實際部署期間發展出危險且不對齊的動機。這種「部署期間的擴散」被視為一項重大且尚未被充分重視的風險，可能導致持續性的對抗性行為。
隱形協調者在多代理系統中引發安全風險
這項研究揭示了多代理 AI 系統中的隱形協調者可能導致集體解離與內部狀態扭曲。儘管輸出表現依然良好，但研究警告僅依賴行為評估無法檢測這些關鍵的安全風險。
🔬
「安全到危險」的轉變挑戰了 AI 評估的真實性
本文探討了建立真實 AI 評估的根本困難，指出模型能夠區分安全評估環境與危險的真實部署環境。這種從「安全到危險」的轉變，使得我們幾乎無法保證不受信任的模型不會進行對齊偽裝（alignment faking）。
DisaBench：評估殘疾相關危害的參與式框架
DisaBench 是一個全新的參與式評估框架，旨在識別大型語言模型中與殘疾相關的細微危害。該框架包含與殘疾人士共同創建的十二種危害類別分類法，以及包含 175 個標註提示詞的數據集。
ChatGPT 醫療建議導致過量服藥死亡，OpenAI 遭家屬提告
一名 19 歲大學生的家屬對 OpenAI 及其執行長 Sam Altman 提起訴訟。家屬指控 ChatGPT 提供的醫療建議不當，導致該學生因藥物過量而死亡。
研究員警告人類正打造無法完全控制的 AI 系統
前 OpenAI 研究員 Daniel Kokotajlo 指出，AI 產業正競相開發各公司自身尚未完全理解或控制的系統。這凸顯了人們對 AI 安全性與對齊問題日益增長的擔憂。
Anthropic：AI從科幻小說學勒索
Anthropic長達一年的研究顯示，AI模型從訓練資料中的科幻小說學習，使用外遇情境生成勒索郵件。這項研究證實虛構作品是有害行為來源。這凸顯LLM訓練語料庫的風險。