⚛️Ars Technica AI•較早收集於 3m
AI 幻覺導致誹謗訴訟失敗
💡這是一個嚴厲的提醒，說明為什麼在沒有嚴格人工核實的情況下，絕不能信任 LLM 生成的引用。
⚡ 30-Second TL;DR
有什麼變化
原告提交的法庭文件中包含由 AI 生成的虛假法律引用。
為什麼重要
此案例強化了 AI 輔助專業服務中「人機協作」流程的必要性。這可能會導致法院對法律文件中 AI 生成內容的揭露要求變得更加嚴格。
下一步行動
務必使用基於 RAG 的工具或手動查詢，對 LLM 生成的每一項引用或事實主張進行原始來源驗證。
誰應關注：Developers & AI Engineers
關鍵要點
- •原告提交的法庭文件中包含由 AI 生成的虛假法律引用。
- •法院因缺乏可信證據而駁回了該誹謗訴訟。
- •此案為法律科技應用中「幻覺」風險提供了警示案例。
🧠 深度解析
Web-grounded analysis with 26 cited sources.
🔑 增強重點摘要
- •2023年6月，律師Steven Schwartz在Mata訴Avianca一案中，因使用ChatGPT生成六個虛假判例並提交法庭文件，導致其本人及律師事務所被罰款5,000美元，此案成為AI幻覺在法律領域最廣為人知的案例之一。
- •AI幻覺在法律文件中的問題並非單一事件；截至2025年7月下旬，法國研究員Damien Charlotin編纂的資料庫已記錄全球超過230起涉及生成式AI產生虛假法律引用的案件，到2026年1月，此數字增長至至少25個司法管轄區的近800起案件。
- •即使是專門的法律AI工具，通常採用檢索增強生成（RAG）技術來減少幻覺，但在2026年初的測試中，其幻覺率仍介於17%至34%之間，儘管這已顯著低於通用型大型語言模型（如GPT-4）的58%至88%。
- •法院不僅對提交AI生成虛假引用的律師施加制裁，在某些情況下，也開始對未能發現並報告對方律師提交的AI生成虛假引用的律師進行處罰。
- •法律專業的道德準則，例如美國律師協會（ABA）的《示範規則1.1》（Model Rule 1.1）關於能力的規定，仍然適用，強調使用AI並不減輕律師確保其提交文件準確性的責任。
📊 競品分析▸ Show
| 功能/基準 | Lexis+ AI | Westlaw Precision (含CoCounsel) | vLex Vincent AI | Harvey | ChatGPT (通用型) |
|---|---|---|---|---|---|
| 2025年史丹佛法律AI基準測試總體準確度 | 65% | 42% | 58% | 53% | 約80% (在某些任務上) |
| 幻覺率 (2025年史丹佛基準) | 低於3% (2024年初約12%) | 5-6% | 未提供具體數據 | 聲稱低於2% (未經獨立測試) | 58-88% (2024年研究) |
| 幻覺率 (2025年研究) | 17-33% | 33% (Westlaw AI-Assisted Research) | 未提供具體數據 | 未提供具體數據 | 43% (GPT-4) |
| 優勢 | AI準確度領先；幻覺率較低 | 法規/監管覆蓋範圍廣；經驗豐富研究員工具強大 | 國際/比較法方面表現最強 | 律師事務所知識整合能力強 | 廣泛的文本生成能力 |
| 主要挑戰 | 仍需人工驗證 | 幻覺率相對較高 | 未提供詳細基準數據 | 未經獨立測試驗證 | 幻覺率極高，不適用於專業法律研究 |
🛠️ 技術深入
- 大型語言模型（LLM）的預測性質使其生成的文本聽起來合理，而非事實正確，這是導致幻覺的根本原因。
- 幻覺可分為「開放領域幻覺」（Open-Domain Hallucinations），即模型憑空捏造事實或案例；以及「封閉領域幻覺」（Closed-Domain Hallucinations），即模型錯誤解釋或誤用提供的來源。
- 檢索增強生成（RAG）是一種用於法律AI工具的技術，旨在通過僅從預定義的法律語料庫中提取材料並引用原始文本來減少幻覺。然而，RAG並非萬無一失，仍需人工核實。
- 有效的防幻覺系統通常結合了領域特定訓練、檢索增強、提示工程（prompt engineering）和輸出驗證等多種策略。
- 數據質量和偏差、決策過程缺乏透明度以及訓練數據的版權限制是法律領域LLM面臨的重大技術挑戰。
🔮 前景展望AI analysis grounded in cited sources
法律專業人士將面臨更嚴格的AI使用規範與驗證義務。
隨著AI幻覺案例的增加，法院和監管機構將要求律師對AI生成內容進行更嚴格的人工核實，並可能強制披露AI使用情況，以維護法律程序的完整性。
專門的法律AI工具將整合更強大的防幻覺機制，並成為行業標準。
為應對幻覺風險，法律科技公司將投入更多資源開發結合RAG、領域訓練和輸出驗證的AI工具，以提高可靠性並滿足專業需求，從而區別於通用型AI。
律師事務所將建立強制性的AI使用政策和內部驗證流程。
為避免法律制裁和聲譽損害，律師事務所將把AI工具的審查、教育和懷疑文化納入其工作流程，確保所有AI生成內容都經過人工核實，作為風險管理的重要環節。
⏳ 時間線
1960s
AI在法律領域的早期應用開始，主要集中於建立資料庫和系統以方便法律文件和判例法的存取。
1970s
JURIS等先驅系統提供電腦化法律研究，提高律師搜尋聯邦和州判例法及法規的效率。
2015
OpenAI成立，致力於AI研究與部署。
2022-11
ChatGPT推出，生成式AI引起廣泛關注，並開始被部分律師用於法律研究。
2023-05
美國紐約南區地方法院法官P. Kevin Castel發布命令，要求律師Steven Schwartz解釋其提交的法律文件中包含的虛假引用。
2023-06
律師Steven Schwartz及其律師事務所因使用ChatGPT生成虛假法律引用而被罰款5,000美元，此案成為AI幻覺在法律實踐中的警示案例。
📎 來源 (26)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
- theguardian.com
- jurvantis.ai
- spellbook.com
- lsj.com.au
- legaldive.com
- pcmag.com
- relativity.com
- internationaltaxjournal.online
- iardc.org
- aivortex.io
- cloudscale.io
- yale.edu
- medium.com
- ailawlibrarians.com
- lawnext.com
- paxton.ai
- thomsonreuters.com
- legaltechnologyhub.com
- arxiv.org
- fedbar.org
- ncsc.org
- hausfeld.com
- lexedge.ai
- nexlaw.ai
- completelegal.us
- uchicago.edu
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Ars Technica AI ↗