美國法院遭遇疑似 LLM 提示注入

💡法院文件可能揭示了提示注入攻擊 AI 審閱流程的早期真實案例。

⚡ 30-Second TL;DR

有什麼變化

一名自行出庭的原告據稱在法院文件中嵌入了針對 AI 系統的指令。

為什麼重要

這起疑似事件為使用 LLM 摘要、分類或審閱不受信任文件的組織敲響警鐘。法律、合規與企業 AI 系統需要更嚴格的指令隔離、來源驗證，以及在採取行動前加入人工確認。

下一步行動

請在文件處理管線加入對抗式提示注入測試套件，並要求獨立的政策檢查器驗證每項由 LLM 產生的法律或合規行動。

誰應關注：Developers & AI Engineers

AI-generated analysis for this event.

•該事件涉及的提示注入技術被稱為「間接提示注入」（Indirect Prompt Injection），攻擊者將惡意指令隱藏在外部來源（如法院文件）中，當 AI 系統讀取該文件時會自動執行指令。
•康乃狄克州法院目前使用的 AI 輔助系統主要用於摘要長篇法律文件與檢索案例，該攻擊試圖透過隱藏指令誘導 AI 產生偏頗的摘要或錯誤的法律引用。
•法律專家指出，此類攻擊利用了大型語言模型（LLM）無法區分「數據」（Data）與「指令」（Instruction）的架構缺陷，這在資安領域被視為嚴重的系統性漏洞。
•美國司法行政辦公室（Administrative Office of the U.S. Courts）已針對此事件發布內部指引，要求各級法院在處理外部提交的數位文件時，必須對 AI 處理流程進行隔離與人工覆核。
•此案例引發了關於「法律科技」（LegalTech）供應商責任的討論，促使開發商開始研究針對法院文件輸入的「提示過濾器」（Prompt Sanitization）技術。

攻擊手法：利用隱藏文字（如白色字體或極小字體）或 PDF 元數據（Metadata）嵌入惡意提示詞。
漏洞原理：LLM 在處理長文本時，會將所有輸入內容視為上下文（Context），無法有效區分用戶指令與被分析文件的內容。
防禦機制：目前業界正測試透過「提示詞隔離」（Prompt Isolation）技術，將外部文件內容轉換為純文字格式，並在送入模型前進行惡意指令過濾（Sanitization）。
系統限制：現有法律 AI 系統多基於 RAG（檢索增強生成）架構，攻擊者透過注入指令干擾檢索結果的排序或權重，進而影響最終生成的法律意見。