
AI 競賽風險災難性事件,專家警告
牛津 AI 教授 Michael Wooldridge 警告,AI 上市競賽加劇辛德堡式災難風險,如致命自駕車更新或 AI 駭客。巨大商業壓力促使公司未完全了解能力與缺陷即發布工具。此類事件可能摧毀全球對 AI 的信心。
Tag: #ai-safety536 results

牛津 AI 教授 Michael Wooldridge 警告,AI 上市競賽加劇辛德堡式災難風險,如致命自駕車更新或 AI 駭客。巨大商業壓力促使公司未完全了解能力與缺陷即發布工具。此類事件可能摧毀全球對 AI 的信心。

文章報導 OpenAI 緊急暫停新模型訓練,並將此決定置於 AI 能力提升所帶來風險日增的背景下。文章未提供具體模型名稱、時間表或暫停訓練的技術原因。
文章提出一種推測性觀點,認為人類與日益強大的 AI 系統之間的競爭可能已經開始。文章將核心風險界定為:AI 是否持續符合人類利益,或逐步取得獨立控制權。

一名自訴訟當事人懷疑法院使用 AI 後,據報在法庭文件中植入提示詞。此案凸顯部分當事人錯誤利用聊天機器人行為,並試圖影響 AI 輔助的法律工作流程。

一名 17 歲的麻薩諸塞州少年被控謀殺母親和弟弟。檢方指稱,他在案發前曾使用 ChatGPT 探索涉及殺害家人的幻想情境,但本文摘錄並未證實 ChatGPT 導致或促成了暴力行為。

這篇立場論文指出,原本用於減少有害輸出的 AI 對齊技術,也可能被重新用於審查、操縱與資訊控制。隨著 AI 成為重要資訊來源,且政治與經濟權力不對等加劇,作者呼籲研究社群正視蓄意濫用問題。

據報導,Google DeepMind 的通用 AI 安全與對齊團隊使用一份私下表格,確保部分求職者的履歷能被真人看到。Bloomberg 引述的內部文件稱,Google 的標準申請系統存在不可忽略的機率會錯誤篩掉履歷,或花費過長時間將申請轉交給團隊。

文章探討10萬億參數大模型可能具備的能力與風險。文章認為,這類系統可能帶來超出人類預期的正面與負面影響,因此需要嚴格治理與約束。

文章警告,醫學生在建立臨床判斷力前使用 OpenEvidence,可能始終無法完整學會獨立推理。作者將這種風險與傳統的技能退化區分開來,指出從未習得的能力更難以補救。

中國一名 67 歲農民依照 AI 應用程式提供的農藥建議,導致 25 英畝農田的芝麻幼苗全部死亡。在此之前,他因連續數月獲得看似成功的建議,逐漸信任這項工具。