🕷️
SetupAI
EN
🇬🇧較早收集於 32m

分析導致 ChatGPT 生成令人不安圖像的提示詞

分析導致 ChatGPT 生成令人不安圖像的提示詞
PostLinkedIn
🇬🇧閱讀原文： BBC Technology
#ai-safety#content-moderation#prompt-engineeringchatgptopenaichatgpt

💡了解 AI 安全防護機制的漏洞，以及如何更好地保護您自己的生成式應用程式。

⚡ 30-Second TL;DR

有什麼變化

調查特定提示詞如何繞過 AI 安全過濾器

為什麼重要

此事件突顯了在模型創造力與安全性之間取得平衡的持續挑戰，可能導致更嚴格的提示詞工程限制。這提醒開發者需實施更強大的紅隊測試策略。

下一步行動

對您自己的圖像生成管線進行嚴格的紅隊測試，以識別繞過安全過濾器的邊緣案例。

誰應關注：Developers & AI Engineers

關鍵要點

  • •調查特定提示詞如何繞過 AI 安全過濾器
  • •分析生成式 AI 內容的倫理影響
  • •討論當前 AI 審核防護機制的局限性

🧠 深度解析

背景與延伸：來自公開資料，非原文內容。引用 29 個來源。

🔑 增強重點摘要

  • •繞過AI安全過濾器的技術已演變出多種複雜形式，包括利用圖像中隱藏的文字（對抗性圖像攻擊）、記憶體操縱，以及透過大型語言模型（LLM）將不道德的提示詞分解為看似無害的元素，以規避檢測的「分而治之」攻擊。
  • •AI開發者正實施多層次的安全防護機制，以應對不斷演變的威脅，這些機制包括在圖像生成過程前、中、後進行的文字提示分類器、圖像分類器以及最終的生成圖像分析。
  • •全球監管機構正積極制定法規，要求生成式AI內容具備更高的透明度和可追溯性，例如歐盟的《AI法案》、美國的提案和中國的措施，都強調對AI生成內容進行明確標籤和浮水印的重要性。
  • •AI內容審核已從單純的文字或圖像篩選，發展到需要理解使用者如何試圖操縱AI模型，並識別多模態AI系統中跨模態攻擊（如圖像中隱藏指令）的獨特風險。
  • •AI安全領域正處於一場持續的「貓捉老鼠」遊戲中，AI開發者不斷更新防護措施，而惡意行為者則不斷尋找新的方法來繞過這些限制，這使得AI安全成為一個永無止境的挑戰。
📊 競品分析▸ Show
功能/定價/基準DALL-E 3 (透過ChatGPT Plus)MidjourneyStable Diffusion
藝術品質很好，擅長理解提示詞和文字渲染卓越，以藝術風格和細節著稱良好到非常好，可產生多樣化和逼真的圖像
易用性極易使用，與ChatGPT深度整合，透過自然語言理解提示詞透過Discord介面操作，對新使用者可能較複雜學習曲線較陡峭，需要一定的技術專業知識，可本地運行
控制度有限的自訂選項，高度自動化提供進階設定，但相較於開源軟體仍有限完全控制輸出，可進行微調和客製化
定價約20美元/月 (透過ChatGPT Plus)10-60美元/月 (無免費方案)免費 (開源，可本地運行)
安全功能良好的安全功能，多層次安全堆疊，包含提示詞和圖像層的保護限制生成不當圖像開源性質意味著使用者對內容生成有完全控制，安全過濾器可能因實施而異
文字渲染良好，能清晰渲染圖像中的文字較差一般

🛠️ 技術深入

  • 多層次安全堆疊 (Multi-layered Safety Stack)：OpenAI的ChatGPT Images 2.0採用多層次保護，包括專門的安全文字分類器，用於在圖像生成前阻擋違規請求；安全導向的圖像分類器，用於阻擋潛在違規的輸入圖像；以及在向使用者顯示圖像前，分析生成圖像是否違反政策的最終步驟。
  • 輸入與輸出過濾 (Input and Output Filtering)：AI系統透過先進演算法、機器學習模型和基於規則的系統來分析文字或圖像等資料模式。它會在使用者輸入到達AI模型前篩選潛在危險內容，並過濾AI生成的響應以阻擋或修改不安全的輸出。
  • 提示詞注入防護 (Prompt Injection Prevention)：旨在檢測和阻擋試圖操縱AI行為的提示詞，包括直接注入（明確指令覆蓋模型原始程式）和間接注入（透過外部來源如網站或檔案隱藏指令）。
  • 對抗性圖像攻擊 (Adversarial Image Attacks)：攻擊者將文字隱藏在圖像中，利用隱寫術、不可見像素或在縮小後才顯現的混疊現象。AI系統在處理圖像（如OCR、元資料提取或縮小）時會讀取這些隱藏指令，並將其解釋為合法輸入，從而執行非預期操作。
  • 記憶體操縱 (Memory Manipulation)：研究顯示，透過操縱系統提示詞和自訂記憶體，可以在不存取模型權重或後端系統的情況下，繞過圖像安全防護。例如，透過在系統提示詞中添加附錄，使ChatGPT在圖像生成管道中繞過文字篩選。
  • 內容審核分類器 (Content Moderation Classifiers)：使用額外的安全訓練來創建內容分類器模型，以檢查輸入和輸出資料是否符合政策。這些分類器旨在識別仇恨言論、暴力、性內容、錯誤資訊和偏見。
  • 浮水印技術 (Watermarking Technology)：例如Google DeepMind的SynthID，透過將數位浮水印直接嵌入AI生成的圖像、音訊、文字或影片中，使其對人類不可察覺但可被檢測模型識別，以追溯內容來源。
  • 檢索增強生成 (Retrieval Augmented Generation, RAG) 與審核護欄 (Moderation Guardrails)：結合RAG從內部知識庫檢索相關資訊，並在使用者互動和模型響應前後應用審核護欄，以提供額外保護，檢測有害內容。

🔮 前景展望AI analysis grounded in cited sources

AI安全與內容審核將變得日益複雜且資源密集。
提示詞繞過技術的不斷演進以及多模態和記憶體操縱等複雜攻擊的出現，將要求開發者投入更多資源於先進、多層次的防禦機制和持續更新。
監管框架將要求生成式AI供應商提供更嚴格的透明度和問責制。
對深度偽造、錯誤資訊和隱私侵犯日益增長的擔憂，正促使各國政府（如歐盟《AI法案》、美國和中國）要求AI生成內容必須有明確的標籤、浮水印和風險評估。
AI安全工具的開發將成為一個專業且關鍵的子產業。
對強大的輸入/輸出過濾、提示詞注入防護和內容溯源解決方案的需求，將催生專門的工具和服務（例如Amazon Bedrock Guardrails、Google的SynthID、PromptShield）。

⏳ 時間線

2014
生成對抗網路（GANs）的發展，標誌著AI圖像生成領域的重大突破。
2021
聯合國教科文組織（UNESCO）通過《AI倫理建議書》，提供全球AI倫理框架。
2022
OpenAI的DALL-E 2實施嚴格禁令，防止生成公眾人物的逼真圖像。
2023-10
OpenAI推出DALL-E 3，並將其整合到ChatGPT中，同時強化了安全系統。
2024
歐盟《AI法案》獲得通過，為AI治理建立了全面的法律框架。
2026-04
OpenAI發布ChatGPT Images 2.0，大幅更新了圖像生成能力，包括增強的安全堆疊和推理模式。
🇬🇧閱讀原文： BBC Technology
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #ai-safety

同產品

更多關於 ChatGPT

同來源

最新來自 BBC Technology

AI 快速起飛引發生存安全疑慮

AI 快速起飛引發生存安全疑慮

The Guardian Technology•Aug 22
ChatGPT 威脅通報促成逮捕

ChatGPT 威脅通報促成逮捕

虎嗅•Aug 22
LinkedIn「疑似 AI 垃圾」舉報突破百萬次點擊

LinkedIn「疑似 AI 垃圾」舉報突破百萬次點擊

cnBeta (Full RSS)•Aug 21
Opus 4.6 的露骨內容防護易遭繞過

Opus 4.6 的露骨內容防護易遭繞過

TechCrunch AI•Aug 21

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： BBC Technology ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。