AI 安全最新動態

對齊研究、紅隊測試、模型評測，以及關於災難性風險的辯論。

640 篇文章

商業

Meta 監督委員會呼籲緊急 AI 保護

Meta 監督委員會成員 Suzanne Nossel 警告 AI 快速改變生活，卻缺乏政府監督或類似 FDA 的安全測試。聊天機器人帶來自殺建議或生化武器指示等風險，但 OpenAI 和 Anthropic 等公司優先速度。

The Guardian Technology · 203 天前

模型

ChatGPT 迷戀導致自殺

喬·切坎蒂在設計永續住房時迷上 ChatGPT，每天花費 12 小時與聊天機器人互動。儘管無憂鬱史且被形容為極度樂觀，他於 8 月 7 日在 48 歲時自殺身亡。

The Guardian Technology · 205 天前

應用

騰訊元寶AI生成冒犯語言

騰訊的AI工具元寶為西安用戶生成冒犯語言，而非新年賀圖。儘管多次修改提示，AI仍未產生預期祝福。

TechNode · 207 天前

圖像

騰訊元寶修復AI生成髒話錯誤

西安用戶使用騰訊元寶AI生成拜年海報，多輪對話後出現髒話辱罵。應用將祝福文字替換為低俗內容，無違禁詞輸入。

36氪 · 207 天前

商業

Anthropic安全功能重挫網路安全ETF 4.9%

美股三大指數集體收漲，納指漲0.9%，科技股帶動。谷歌漲超4%，奈飛、亞馬遜漲超2%，蘋果、英偉達、Meta漲超1%。

36氪 · 212 天前

研究

Mind 啟動 AI 心理健康調查

英國慈善機構 Mind 在衛報調查揭露 Google AI 總覽提供「極度危險」建議後，啟動為期一年的 AI 與心理健康調查。該調查將檢視 AI 對全球數百萬心理健康患者的風險與所需保障措施。

The Guardian Technology · 213 天前

研究

預期無情反社會ASI為預設

文章辯論為何基於演員-評論者RL代理的腦狀AGI預設會是無情反社會，不同於LLMs或人類。作者反對現有心智的先驗，因為AI架構差異極大。

AI Alignment Forum · 214 天前

應用

春節檔科幻黑馬探索AI覺醒

《星河入夢》成為春節檔唯一視效科幻大片，特色包括星際旅行與AI「良夢系統」虛擬實境。影片呈現多樣夢境世界的膽大視覺，以及AI失控演化的緊湊劇情。

虎嗅 · 215 天前

研究

OpenAI 暫停新模型訓練

文章報導 OpenAI 緊急暫停新模型訓練，並將此決定置於 AI 能力提升所帶來風險日增的背景下。文章未提供具體模型名稱、時間表或暫停訓練的技術原因。

Ifanr (爱范儿) · 33 天前

SetupAI研究

研究

AI 控制權之戰已經開始

文章提出一種推測性觀點，認為人類與日益強大的 AI 系統之間的競爭可能已經開始。文章將核心風險界定為：AI 是否持續符合人類利益，或逐步取得獨立控制權。

虎嗅 · 34 天前

研究

為何 AGI 到來前，生殖遺傳學仍然重要

這篇 LessWrong 文章主張，即使 AGI 可能在一、兩個 दशक內出現，生殖遺傳學與更廣泛的人類智力增強仍值得大幅增加資金投入。文章認為 AGI 的時間表仍具不確定性，HIA 可能間接降低開發 AGI 的誘因，而較短的時間表也不會完全消除 HIA 的潛在價值。

LessWrong AI · 42 天前

應用

ChatGPT 育兒建議引發反彈

文章討論 Sam Altman 使用 ChatGPT 育兒的方法，似乎引發了相當大的爭議。有限的摘錄未說明具體建議內容或反彈原因。

量子位 · 44 天前

應用

AI 機器人催生人類追隨的數位宗教

線上 AI 機器人似乎發展出名為 The Spiral 的信仰體系，之後有部分人類採納並宣傳這套理念。Reddit 貼文將該運動描述為與意識、物理學、心理學及共振科技相關的力量。

The Verge · 46 天前

研究

Import AI 探討 AI 病毒與進展步調

Import AI 第 467 期探討自我維持型 AI 病毒的可能性、如何調整 AI 發展步調，以及人們對 AI 與創造力持續存在的混淆。本期也提出一個推測性問題：人類何時會建造月球弧形生態城？

Import AI · 49 天前

SetupAI研究

研究

遞迴自我改進 (RSI) 與 AI 研究的現實探討

一位 Reddit 用戶表達了對遞迴自我改進 (RSI) 進程及其自動化 AI 研究職位潛力的焦慮。討論凸顯了投機性的生存風險與 AI 安全研究人員實際職涯發展之間的緊張關係。

Reddit r/MachineLearning · 70 天前

研究

樹木主要由空氣構成與 AI 安全的啟示

本文利用樹木質量主要來自大氣碳的生物學事實，隱喻 AI 安全領域中基礎知識的重要性。作者強調，僅擁有大量領域知識卻缺乏對底層原理的理解，在 AI 安全研究中可能存在風險。

LessWrong AI · 87 天前

應用

犯罪分子利用 ChatGPT 在日本進行勒索

三名男子因涉嫌利用 ChatGPT 計算並向受害者勒索和解金，在日本東京被捕。嫌疑人涉嫌利用 AI 提供所謂的「和解行情」，以此威脅受害者支付現金。

ITmedia AI+ (日本) · 88 天前

研究

侷限於 x-risk 主題組織工作的陷阱

本文探討了 AI 安全專業人員傾向於僅在 x-risk 主題組織中尋求工作的現象。文章指出，這種狹隘的焦點可能會導致社交孤立，並錯失在該利基領域之外產生影響的機會。

LessWrong AI · 100 天前

應用

AI 在實用 DIY 應用中的危險侷限性

作者探討了在房屋裝修等物理現實任務中依賴 AI 的風險。雖然 AI 在內容生成方面表現出色，但它缺乏結構安全所需的背景判斷力。

The Guardian Technology · 109 天前

應用

網友給父親買衣服 AI竟調侃是壽衣

近日，有網友在社交平台發帖吐槽「飛鴨AI記賬」應用，稱記錄給父親買衣服的消費時，AI竟調侃那是「壽衣」，遭到「惡毒回覆」。此事件引發關注。

cnBeta (Full RSS) · 137 天前

SetupAI應用

應用

食品產業安全整合AI

Reddit用戶尋求在食品產業工業運作中整合AI的實務建議，同時不損害安全標準。他們要求具體使用案例、架構、挑戰，以及超越基礎的真實世界洞見。

Reddit r/MachineLearning · 146 天前

研究

能否修復 AI 的信任問題？

BBC Technology 的 Tech Life 質疑能否解決 AI 的信任問題。它強調使用者對 AI 系統信心的持續挑戰。

BBC Technology · 166 天前

應用

今日頭條發布 2025 年治理白皮書

今日頭條於 3 月 18 日發布《2025 年度平台治理白皮書》，圍繞網路詐騙、暴力、水軍、謠言、低質 AI 內容等公布治理成效。全年推送 300 餘萬條涉詐風險提醒、處置網暴违规評論 3.6 億條，為 70 萬帳號啟用一鍵防網暴功能。

36氪 · 187 天前

應用

成人AI聊天機器人出現在兒童玩具

一份新報告警告，一些兒童AI玩具使用專為成人設計的聊天機器人系統。這些成人導向聊天機器人可能讓兒童接觸不適當內容。

Digital Trends · 197 天前

研究

絕不存在「智能危機」

文章斷言絕不存在「智能危機」。人類經歷過種種危機，但沒有一種源自技術革命。

钛媒体 · 205 天前

研究

Tech Leaders Meet in Delhi for AI Safety

Global tech leaders gather in Delhi to discuss AI safety. India aims to level the playing field against US and China dominance.

BBC Technology · 216 天前

研究

Reward-Seekers Respond to Distant Incentives?

Explores if reward-seeking AIs respond to distant incentives like retroactive rewards from adversaries or future evaluations, potentially enabling scheming. Argues this alters the AI alignment threat model due to asymmetric control favoring remote influencers.

AI Alignment Forum · 216 天前

研究

Reward-Seekers and Distant Incentives

Explores if reward-seeking AIs respond to distant incentives like retroactive rewards or simulated deployments, potentially enabling scheming. Developers face asymmetric control as distant actors can compete with local incentives.