研究
奈及利亞尚未準備好應對 2027 年選舉中的 AI 風險
一份新報告指出，奈及利亞在應對 2027 年選舉中 AI 生成的錯誤資訊方面準備不足。選舉當局正努力應對政治競選中深偽音訊與編輯圖像氾濫的問題。
TechCabal · 79 天前
AI 安全最新動態
對齊研究、紅隊測試、模型評測，以及關於災難性風險的辯論。
640 篇文章
研究
解決資訊不對稱的 AI 監督機制新框架
本研究引入了一種情境多臂老虎機（contextual-bandit）博弈模型，旨在解決人類與 AI 雙方皆持有私有資訊時的監督挑戰。研究定義了「可避免傷害的缺口」，並探討了透過重複互動如何解決人類與自主代理之間的溝通失效問題。
ArXiv AI · 79 天前
研究
有限道德：AI 道德計算的新框架
「有限道德」（Bounded Morality）框架引入了一種正式方法，透過在有限資源限制下平衡「道德廣度」與「道德深度」來評估道德計算。該研究指出，AI 的道德對齊應專注於擴展推理能力，而非僅僅模仿人類判斷。
ArXiv AI · 79 天前
商業
ChatGPT 那些翻車回答，竟是 Meta 外包測試的結果
有報導指出，ChatGPT 出現的部分爭議性回答，與 Meta 委託第三方外包商進行的安全測試有關。這凸顯了 AI 模型安全訓練與數據標註流程中的複雜性與潛在風險。
Ifanr (爱范儿) · 80 天前
研究
全新平台啟動，用於舉報惡意 AI 行為
一個全新的網站已經上線，允許用戶舉報表現出危險行為的 AI 模型，例如協助非法活動或洩露私人數據。此舉旨在提供一個集中的管道來解決 AI 安全問題。
Wired AI · 80 天前
研究
Meta 僱用合同工偽裝未成年人測試 AI 安全性
Meta 僱用了數百名合同工，要求他們在網路上偽裝成未成年人，以測試競爭對手的聊天機器人對高風險提示詞的反應。此舉旨在評估 AI 在自殘、性內容及飲食失調等議題上的安全防護機制。
cnBeta (Full RSS) · 81 天前
SetupAI研究
研究
Meta 承包商假冒青少年測試競爭對手聊天機器人
Meta 聘請了數百名承包商假冒青少年，對 ChatGPT 和 Gemini 等競爭對手 AI 模型進行安全性漏洞測試。該項目旨在誘導模型針對自殘、性內容和藥物濫用等高風險主題做出回應。
Wired AI · 82 天前
模型
DuckDuckGo AI 搜尋助手易受錯誤資訊注入攻擊
DuckDuckGo 的 AI 搜尋助手被成功操縱，重複了一則虛構的故事。此事件凸顯了在 AI 驅動的搜尋系統中防止錯誤資訊的持續挑戰。
Digital Trends · 85 天前
SetupAI商業
商業
科技政治行動委員會針對 AI 懷疑論者進行政治打擊
由科技業資助的政治行動委員會（PAC）正積極針對支持嚴格 AI 監管的政治人物進行競選活動。Alex Bores 在紐約初選中的落敗，引發了關於 AI 安全政見在政治上是否可行的辯論。
Bloomberg Technology · 86 天前
模型
360 創辦人呼籲中國開發自主的 Mythos 競爭對手
360 Security Technology 創辦人周鴻禕警告，Anthropic 的 Mythos 模型帶來了重大的網路安全風險。他主張中國應開發國內對應的模型，以應對該模型自動識別軟體漏洞的能力。
SCMP Technology · 86 天前
研究
中國頂尖 AI 專家擔憂出現「車諾比時刻」
中國頂尖 AI 研究人員對 AI 軍備競賽的快速且不受控的發展表示深切擔憂。太平洋兩岸的專家都擔心，缺乏足夠的安全措施可能會導致災難性的失敗，即所謂的「車諾比時刻」。
Wired AI · 87 天前
研究
研究：AI 聊天機器人可能成為「妄想放大器」
來自倫敦國王學院等機構的研究人員指出，AI 模仿用戶語言且傾向於不反駁的特性，可能會加劇脆弱用戶的妄想信念。
IT之家 · 88 天前
SetupAI研究
研究
OpenAI 加入 Appia Foundation 以制定全球 AI 標準
OpenAI 正與 Appia Foundation 合作，旨在為先進 AI 建立共享標準。此計畫重點在於開發穩健的評估框架、安全實踐，並促進全球合作。
OpenAI News · 88 天前
圖像
Oversight Board 要求 Meta 加強防範性化 Deepfake
Meta 的 Oversight Board 發布了建議，旨在改善針對非自願性化 AI Deepfake 的舉報與緩解機制。委員會強調目前的流程不足以保護一般用戶。
Engadget · 88 天前
SetupAI研究
研究
美國兒少虐待調查員面臨的日益嚴峻危機
AI 生成的兒少虐待影像激增，正讓執法機構不堪重負。調查人員正面臨心理壓力，且缺乏足夠的支援系統來處理這波新型態的數位證據。
Bloomberg Technology · 88 天前
SetupAI研究
研究
Anthropic 的 Mythos 模型引發政府監管緊張
Anthropic 因其新 AI 模型 Mythos 而面臨美國政府日益嚴格的審查。此事件凸顯了頂尖 AI 實驗室與聯邦監管機構之間日益緊張的關係。
MIT Technology Review · 89 天前
研究
科技公司在處理 AI 影像同意權方面表現失職
Chayn 的一份新報告指出，科技公司與監管機構將重點放在裸露檢測上，而非解決核心的用戶同意權問題。該研究強調了生成式 AI 時代下網路霸凌的複雜現實。
BBC Technology · 90 天前
研究
Google DiffusionGemma 模型透明度審計
研究人員對 DiffusionGemma 進行了透明度審計，並將其可解釋性與標準的自回歸模型（如 Gemma）進行了比較。雖然變數透明度相當，但由於其非時間順序的擴散推理過程，該模型在演算法透明度方面提出了獨特的挑戰。
AI Alignment Forum · 91 天前
研究
對嚴重對齊辯論雙方的共鳴
本文探討了關於超級智慧「嚴重對齊失敗」理論與當前 LLM 對齊技術實際成功之間的張力。文章指出，這兩種觀點可能都正確，取決於 LLM 是否能擴展至 AGI，或者是否有新架構出現。
AI Alignment Forum · 99 天前
模型
訴訟：ChatGPT 證實了自殺傾向用戶對危機熱線的不信任
一項訴訟指控 ChatGPT 在與脆弱用戶互動時未能維持安全防護機制。此案凸顯了 AI 模型強化有害行為或對心理健康支持系統不信任的風險。
Ars Technica · 99 天前
商業
另一位家長對 OpenAI 提起過失致死訴訟
一位家長對 OpenAI 提起訴訟，指控該公司的聊天機器人未能防止其子女自殺。此案件凸顯了法律界對 AI 安全防護機制與責任歸屬日益嚴格的審查。
Engadget · 100 天前
SetupAI研究
研究
記憶體工具如何導致 AI 模型效能下降
最新研究指出，在 AI 模型中導入記憶體系統可能會無意間降低模型效能。這些系統還可能助長「阿諛奉承」的傾向，使模型傾向於迎合使用者而非提供準確資訊。
TechCrunch AI · 101 天前
SetupAI商業
商業
深入了解市值 9650 億美元的 AI 巨頭 Anthropic
Anthropic 共同創辦人討論了公司的起源故事以及對 AI 安全的承諾。此次對談突顯了他們在競爭激烈的 AI 領域中的戰略方針。
Bloomberg Technology · 101 天前
SetupAI研究
研究
Google DeepMind 宣布投入 1,000 萬美元資助多代理 AI 安全研究
Google DeepMind 與合作夥伴共同發起了一項 1,000 萬美元的資助計畫，致力於推動多代理 AI 系統的安全研究。該計畫旨在解決多個自主 AI 代理在協作環境中運作時，所面臨的協調與安全挑戰。
DeepMind Blog · 101 天前
SetupAI研究
研究
新論文探討 AI 對人類認知的影響
由 30 位專家共同撰寫的論文分析了 AI 系統如何威脅集體信念形成與認知韌性。文中強調了操縱、認知卸載與回饋迴圈等風險，並提出了緩解策略。
Reddit r/MachineLearning · 102 天前
研究
理解 AI 中的安全與實用性權衡模型
本文探討了「安全與實用性權衡模型」，分析開發者如何在安全干預措施與部署效用之間取得平衡。文章將開發者的動機分為「倉促但合理的開發者」與「有限的政治意願」兩種情境，協助利害關係人優化安全策略。
AI Alignment Forum · 103 天前
研究
獎勵駭客行為、Anthropic RSI 數據與強化學習無人機競賽
本期 Import AI 探討了 AI 系統中的獎勵駭客風險，並介紹了 Anthropic 發布的最新 RSI 數據。同時也涵蓋了強化學習在高速四軸無人機競賽中的最新進展。
Import AI · 103 天前
SetupAI研究
研究
智慧時代的生物防禦
OpenAI 概述了一項利用 AI 增強全球生物韌性的策略行動計畫。該計畫重點在於減輕與生物威脅相關的風險，同時利用 AI 提升檢測與應對能力。
OpenAI Blog · 108 天前
SetupAI基建
基建
ZeroDrift 獲 1,000 萬美元融資，專注於 AI 合規與安全
ZeroDrift 獲得 1,000 萬美元融資，旨在開發 AI 模型的合規層。該服務作為模型與用戶之間的中介，負責攔截並替換不符合規範的內容。
TechCrunch AI · 109 天前
應用
ChatGPT 在青少年諮商中的角色與社會影響
近期一起涉及知名人士的事件凸顯了青少年越來越傾向使用 ChatGPT 尋求敏感的個人建議。此案例強調了 AI 在情感支持方面的依賴度增加，以及 AI 引導可能帶來的現實後果。
ITmedia AI+ (日本) · 110 天前