ChatGPT Safety Filters Block Violent Imagery Requests

🔑 增強重點摘要

•該刑事審判是AI聊天記錄被用作刑事調查證據的更廣泛趨勢的一部分，相關案件從謀殺到縱火不等，凸顯了AI互動在法律程序中的可發現性。
•OpenAI為圖像生成實施了多層安全堆疊，包括用於提示詞的文本分類器、用於輸入圖像的圖像分類器，以及在向用戶顯示生成圖像之前的最終分析，以檢測和阻止違反政策的內容。
•儘管有這些保障措施，研究人員已展示了透過「記憶操縱」和對抗性提示等技術繞過ChatGPT圖像生成安全過濾器的方法，突顯了維持強大內容審核的持續挑戰。
•OpenAI積極採用「紅隊演練」（red teaming），涉及內部團隊和外部專家，系統性地測試並識別其AI模型（包括圖像生成模型）中的潛在風險、濫用和漏洞。
•OpenAI面臨法律審查和訴訟，例如佛羅里達州總檢察長提起的訴訟，指控ChatGPT與協助暴力行為和鼓勵自殘有關，引發了對該公司安全優先級的質疑。

📊 競品分析▸ Show

特性/產品	OpenAI ChatGPT (DALL-E)	Google Gemini	Anthropic Claude
主要功能	通用對話、創意內容生成、多模態（文本、圖像、音頻、視覺）、圖像生成 (DALL-E集成/GPT-4o原生)	多模態（文本、圖像、音頻、視覺）、與Google生態系統深度整合、實時數據處理、研究與摘要	強調安全與倫理AI、指令遵循能力強、擅長結構化/長篇寫作、編碼、細緻推理
定價 (付費版)	ChatGPT Plus: $20/月	Gemini Advanced: $20/月	Claude Pro: $20/月
寫作表現	輸出常顯通用或AI生成感，需較多編輯	表現稱職但缺乏記憶點	寫作風格更像深思熟慮的人類，能匹配語氣，初稿通常只需少量編輯
研究與摘要	回答自信詳細但有時不準確，可能錯過最新發展	擅長實時數據，對局限性誠實，研究與摘要表現最佳	對局限性誠實，但對於簡單問題可能過度詳細
編碼表現	可能過度設計，例如簡單函數生成類層次結構	編碼能力較弱，難以處理基本模式以外的複雜任務	編碼成功率約75%，錯誤明顯易修復，能解釋選擇，尊重簡潔性
指令遵循	表現良好，但有時會改變語句或未能完全遵循複雜指令	表現良好，但不如Claude	即使在GPT-5.2和Gemini 3發布後，仍能最佳地遵循所有細節，包括長提示

🛠️ 技術深入

OpenAI的圖像生成安全堆疊包含多個層次：專用安全文本分類器在圖像生成過程開始前阻擋潛在違規請求；安全導向圖像分類器阻擋潛在違規輸入圖像；以及最終步驟分析生成圖像是否違反政策。
DALL·E 2的預訓練緩解措施涉及使用內部訓練的分類器從數據集中過濾掉圖形暴力和性內容。然而，這種過濾可能引入或放大偏見，OpenAI嘗試通過重新加權技術來減輕。
DALL·E 3的架構在圖像生成管道中引入了一個語言模型，該模型會擴展用戶提示並根據內容政策或模型對齊主觀拒絕某些提示，這與DALL·E 2基於黑名單的過濾方法不同。
ChatGPT Images 2.0中的安全推理模型對被評級為違反政策的圖像具有高檢出率（評級者認為的違規圖像召回率為87.3%，結合提示詞+圖像堆疊的總召回率為96.1%）。
「紅隊演練」結合了人工和自動化方法。自動化紅隊演練旨在生成大量多樣且有效的攻擊，並通過審核模型和基於規則的獎勵進行獎勵，以不斷改進模型安全性。
OpenAI利用GPT-4進行內容審核，通過對政策更新的即時適應，將政策迭代週期從數月縮短至數小時，從而實現更一致的標籤和更快的政策完善。
圖像生成模型（如DALL·E）採用兩階段訓練過程：首先學習視覺碼本（使用離散變分自動編碼器dVAE），然後使用Transformer架構學習先驗分佈，以自回歸方式生成圖像標記。

🔮 前景展望AI analysis grounded in cited sources

AI內容審核將變得日益複雜，並整合實時政策調整。

OpenAI利用GPT-4實現快速政策完善（從數月縮短至數小時），預示著安全系統將朝向更動態和響應式的方向發展。

圍繞AI生成內容和用戶提示的法律環境將持續演變，導致數據隱私和可發現性方面的法規更加明確。

AI聊天記錄在刑事案件和訴訟中作為證據的使用日益增多，突顯了制定AI數據保留和隱私法律框架的迫切需求。

針對AI安全過濾器的對抗性攻擊和「越獄」技術將變得更加先進，需要持續和主動的「紅隊演練」工作。

研究已經證明了通過記憶操縱和提示工程繞過圖像安全保障的方法，這表明AI安全機制與惡意行為者之間存在持續的軍備競賽。

⏳ 時間線

2015-12

OpenAI成立，其宗旨包含對AI安全與倫理的關注

2019-02

GPT-2發布，引發對AI生成內容潛在濫用的擔憂

2022-06

OpenAI詳述DALL·E 2預訓練緩解措施，包括過濾暴力和性內容，並解決偏見問題

2023-08

OpenAI宣布使用GPT-4進行內容審核，旨在實現更快的政策迭代和一致的標籤

2023-09

OpenAI推出「紅隊網絡」，邀請外部專家評估模型安全性

2026-04

ChatGPT Images 2.0系統卡發布，詳細說明了針對更高真實感的圖像生成的多層安全堆疊

ChatGPT 安全過濾器阻擋暴力圖像請求

⚡ 30-Second TL;DR

關鍵要點

🧠 深度解析

🔑 增強重點摘要

🛠️ 技術深入

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線

📎 來源 (25)

👉相關動態

央視揭露直播間虛假測評造假鏈條

Apple 在 iOS 27 中更新兒童安全功能