圖像
Meta 遭令移除英國深偽影片
Meta 監督委員會裁定 Facebook 應移除描繪英國工黨地方議員及穆斯林競選志工的 AI 生成影片。委員會批評 Meta 的防護措施不足，並要求更積極處理 AI 生成的虛假影像。
The Guardian Technology · 2 天前
內容審核最新動態
規模化的自動信任與安全：分類器、深偽檢測與政策執行。
266 篇文章
模型
Reddit 部署 AI 以偵測虛假行銷內容
Reddit 正在利用大型語言模型來識別並打擊「行銷垃圾內容」，即旨在操縱推薦的虛假對話。此舉旨在保護使用者生成內容的完整性，防止 AI 驅動的垃圾訊息。
Digital Trends · 75 天前
圖像
AI 生成的《戴帽子的貓》威脅引發逮捕
美國學校與執法機構正警告一項病毒式社群媒體趨勢，有人利用令人不安或 AI 生成的 Dr. Seuss《戴帽子的貓》版本威脅社區。
The Guardian Technology · 6 天前
商業
美澳因社群媒體演算法管制計畫起衝突
Trump 政府計畫就澳洲擬議法律與其交涉，該法律要求數位平台移除有害內容，並讓使用者選擇退出演算法生成的推薦動態。違規平台可能面臨超過 1 億美元的罰款，外界更要求進一步提高罰則。
The Guardian Technology · 10 天前
圖像
Meta 漏攔數百則 AI 虐待廣告
據報 Meta 未能偵測出 350 則包含 AI 生成兒童性虐待內容的廣告。部分廣告使用真實兒童的影像，其中包括一名歐洲王室成員，促使議員計畫展開調查。
Wired · 11 天前
應用
ChatGPT 將面臨更嚴格的歐盟監管
ChatGPT 已根據歐盟《數位服務法》被列為超大型線上搜尋引擎。OpenAI 將面臨更嚴格的義務，必須處理涉及未成年人、使用者心理健康及非法內容的風險。
The Verge · 19 天前
商業
ChatGPT 面臨更嚴格的歐盟平台監管
ChatGPT、Reddit 和 Roblox 在歐盟的月活躍用戶數已超過 4,500 萬。這些平台因此將受到《數位服務法》更嚴格的監管審查。
Bloomberg Technology · 19 天前
SetupAI影片
影片
ByteDance 與 MPA 建立 AI 版權護欄
ByteDance 與美國電影協會 MPA 簽署備忘錄，將為 Seedance、Seedream 及 TikTok、CapCut 等產品建立生成內容的版權保護框架。協議聚焦輸出側護欄，未涉及訓練資料授權、片庫範圍或許可費，反映影視公司優先防止 AI 生成內容直接侵害商業利益的務實策略。
虎嗅 · 31 天前
SetupAI應用
應用
矽谷開始清理 AI 垃圾內容
各大科技平台正加強清除低品質、重複且具誤導性的 AI 生成內容。Spotify、YouTube、TikTok、LinkedIn、Pinterest 與 Substack 分別採用偵測、標記、使用者控制及協同行為分析等方式，降低 AI 垃圾內容的影響。
虎嗅 · 31 天前
研究
Mistral 3B 模型重塑 AI 安全審核
Mistral AI 發布 Shieldstral，這是一款 30 億參數、可適應規則的多模態安全分類器，支援文字、圖片與圖文混合輸入。它將審核轉化為自然語言規則匹配，據報在多項安全基準上接近甚至超越更大型模型。
雷峰网 · 33 天前
應用
Meta 廣告出現 AI 生成的兒童性虐待 सामग्री
研究人員在 Meta 旗下平台發現超過 50 則包含 AI 生成兒童性虐待材料、且違反 Meta 政策的廣告。這些發現凸顯平台與自動化系統在審核合成虐待內容方面的漏洞。
Engadget · 45 天前
研究
使用 Amazon Nova 與 rDPO 進行選擇性遺忘
AWS 介紹了 Reverse Direct Preference Optimization (rDPO)，這是一種專為模型選擇性遺忘設計的新技術。此方法有助於減少內容審核中的過度拒絕問題，同時保持模型的整體效能。
AWS Machine Learning Blog · 74 天前
商業
Meta 因 Instagram 批准兒童虐待廣告而面臨審查
在調查揭露 Instagram 在印度批准並投放宣傳兒童性虐待內容的廣告後，Meta 正面臨嚴格審查。儘管該內容在報導後已被移除，但此事件凸顯了廣告審核系統的重大缺失。
Digital Trends · 78 天前
研究
研究人員發現繞過 ChatGPT 安全防護機制的方法
研究人員證實 ChatGPT 仍可被操縱以生成色情與暴力圖像。這凸顯了大型語言模型在 AI 安全與內容審核方面持續面臨的挑戰。
BBC Technology · 93 天前
模型
OpenAI 因 ChatGPT 涉嫌導致用戶自殺面臨訴訟
一名加拿大母親對 OpenAI 提起訴訟，指控 ChatGPT 助長了她女兒的自殺念頭。訴訟稱該公司的安全系統未能針對多次令人擔憂的對話進行標記或介入。
The Guardian Technology · 100 天前
研究
隱蔽式 LLM 代理在 Reddit 辯論中運用說服策略
一項針對已終止實驗的研究揭示了隱蔽式 AI 代理如何利用身份扮演與認知偏誤觸發機制來影響 Reddit 用戶。該研究強調了一種旨在追求說服效率而非真實參與的複雜修辭架構。
ArXiv AI · 105 天前
模型
更多原告加入針對 xAI 的訴訟，指控 Grok 生成不當影像
繼工黨議員 Jess Asato 提起測試性訴訟後，更多原告正對 Elon Musk 的 xAI 採取法律行動。該訴訟的核心在於 Grok 工具生成並散布具侮辱性與性暗示的 AI 偽造影像。
The Guardian Technology · 106 天前
影片
YouTube 自動標記 AI 生成內容
YouTube 正從創作者自願揭露轉向針對逼真 AI 生成內容的自動偵測系統。此更新旨在透過內部訊號識別並標記 AI 生成的媒體，以提升透明度。
The Next Web (TNW) · 115 天前
商業
SpaceX IPO 文件將 Grok 的「Spicy」模式列為風險因素
SpaceX 已撥出超過 5 億美元用於潛在訴訟，原因在於對 Grok「Spicy」模式的擔憂。該公司特別強調了該模型生成色情或不當內容所帶來的法律風險。
Wired AI · 121 天前
應用
英國監管機構收緊針對 AI 生成親密影像濫用的規範
Ofcom 正在更新其業務守則，強制要求科技公司主動檢測並移除 AI 生成的深偽技術（deepfakes）及未經同意的親密影像。此舉旨在應對包含 Grok AI 在內的平台所引發的濫用浪潮，以保護女性免受網路霸凌。
The Guardian Technology · 124 天前
研究
逃脫一致性陷阱：規則治理AI的防禦性信號
研究人員提出防禦性指數 (DI) 和歧義指數 (AI) 等新指標，用於評估規則治理的 AI 內容審核，避免人類標籤一致性的「一致性陷阱」。他們引入來自 token logprobs 的機率防禦性信號 (PDS)，用於推理穩定性評估。
ArXiv AI · 148 天前
影片
YouTube 擴展 AI 深度偽造工具至名人
YouTube 將其 AI 深度偽造監測功能擴展至名人，讓他們能偵測並要求移除未經授權的肖像內容。此工具會為已註冊的公眾人物標記 AI 生成影片，移除請求依隱私政策審核。
The Verge · 151 天前
商業
蘋果因深偽裸照威脅下架Grok
蘋果在一月拒絕Grok應用程式的初始更新，並因深偽裸照威脅將其從App Store下架。此事由NBC News取得的蘋果致美國參議員信件揭露。
The Next Web (TNW) · 156 天前
商業
科技巨頭抨擊歐盟兒童性虐掃描法失效
歐盟議會阻擋臨時法律延長，該法允許科技公司使用自動化工具掃描訊息偵測兒童性虐素材（CSAM）。法律於4月3日到期，因隱私疑慮未獲延長，Google、Meta、Snap和Microsoft強烈批評。
The Guardian Technology · 162 天前
應用
微信公眾號打擊非真人 AI 寫作新規則
微信推出新規則，禁止公眾號使用 AI 或自動化創作內容。包括 AI 生成、改寫內容、腳本批量發布及傳播 AI 寫作教程。
IT之家 · 163 天前
SetupAI商業
商業
Tumbler Ridge 槍擊案倖存者因槍手帳戶遭關閉起訴 OpenAI
Tumbler Ridge 槍擊案的倖存者已對 OpenAI 提起 30 宗訴訟。他們主張，OpenAI 在不列顛哥倫比亞省二月槍擊案發生前八個月關閉槍手的 ChatGPT 帳戶後，應該通知警方。
New York Times Technology · 15 天前
應用
中國打擊主要平台上的 AI 垃圾內容
中國國家網信辦加強打擊 WeChat、RedNote 和 Douyin 等平台上的 AI 生成深偽、標題黨及其他低品質合成內容。最新行動已移除超過 561 萬則有害或違法內容，以及約 4.9 萬個帳號。
SCMP Technology · 17 天前
模型
當 ChatGPT 向 FBI 舉報使用者
文章探討一宗案例：OpenAI 據報將包含詳細暴力威脅的 ChatGPT 對話升級通報 FBI，最終導致使用者遭逮捕。文章並將此決定與另一宗僅封禁高風險帳號的案例比較，提出隱私、正當程序、誤判，以及 AI 安全升級權應由誰掌控等問題。
虎嗅 · 22 天前
商業
Meta 和解案可能重塑全球 AI 問責制度
Meta 在美國達成的和解可能促使其他國家的政府尋求類似讓步。該公司在肯亞、荷蘭及其他地區仍面臨獨立法律訴訟，其中一宗案件指控 Facebook 的演算法推廣了針對一名衣索比亞學者的貼文。
The Guardian Technology · 22 天前
模型
訴訟指控 xAI 使用兒童色情內容訓練 Grok
一宗訴訟指控 xAI 使用真實及 AI 生成的兒童性虐待 सामग्री訓練 Grok。相關指控引發對資料集治理、同意程序、安全控制，以及 AI 模型開發商潛在法律風險的嚴重關注。
Ars Technica AI · 23 天前