💻較早收集於 40m

測試 Claude Opus 4.8:誠實陷阱與法律測試失敗

PostLinkedIn
💻閱讀原文: ZDNet AI

💡了解 Claude Opus 4.8 在處理複雜法律推理與誠實基準測試時的關鍵失敗點。

⚡ 30-Second TL;DR

有什麼變化

Claude Opus 4.8 與 4.7 版本的比較測試

為什麼重要

這些發現凸顯了模型在法律等高風險領域的可靠性挑戰,顯示新版本在面對特定的對抗性輸入時仍可能表現不佳。

下一步行動

若要將 Claude 部署於法律或合規任務,請實施人機協作驗證層,以減輕 4.8 更新中發現的潛在推理錯誤。

誰應關注:Researchers & Academics

關鍵要點

  • Claude Opus 4.8 與 4.7 版本的比較測試
  • 涵蓋程式編碼、醫療、金融與法律領域的評估
  • 識別出法律推理任務中的關鍵失敗點

🧠 深度解析

Web-grounded analysis with 36 cited sources.

🔑 增強重點摘要

  • Claude Opus 4.8 於 2026 年 5 月 28 日發布,其主要升級在於「誠實性」與判斷力,據稱其發現自身程式碼缺陷的機率比 4.7 版本低約四倍,並且在法律代理基準測試中取得了 Anthropic 模型的最高分,首次突破了「全通過」標準的 10%。
  • Claude Opus 4.7 於 2026 年 4 月 16 日推出,主要在進階軟體工程、處理複雜且長期任務、精確遵循指令以及自我驗證輸出方面有顯著提升,並支援更高解析度的圖像處理。
  • 儘管 Claude Opus 4.8 在內部法律代理基準測試中表現出色,但其在 ZDNet AI 設置的「誠實陷阱」法律測試中仍顯著失敗,這突顯了基準測試與實際應用中「幻覺」風險之間的差異,尤其是在法律領域,AI 產生虛假案例或法律條文的風險依然存在。
  • Anthropic 為 Opus 4.8 引入了「動態工作流程」(Dynamic Workflows)功能,允許 Claude Code 處理大規模問題,透過數百個平行子代理在單一會話中運行,以及「努力控制」(Effort Control)功能,讓使用者能更精細地調整模型在推理與延遲之間的權衡。
📊 競品分析▸ Show
特性/模型Claude Opus 4.8 (Anthropic)GPT-4o / GPT-5.5 (OpenAI)Gemini 1.5 Pro / 3.1 Pro (Google)
發布日期2026年5月28日GPT-4o (2024年5月);GPT-5.5 (2026年)Gemini 1.5 Pro (2024年2月);Gemini 3.1 Pro (2026年3月)
主要優勢誠實性、判斷力、複雜編碼、代理任務、法律推理、長上下文分析生態系統廣度、代理任務、終端機/命令列工作、穩定性多模態處理 (圖像、PDF、影片)、長上下文視窗 (1M tokens)、科學推理、成本效益
法律推理基準Anthropic 法律代理基準測試最高分,首次突破 10% 全通過標準在要求嚴苛的分析工作流程中表現強勁在要求嚴苛的分析工作流程中表現強勁
編碼基準在自主編碼任務和知識工作方面領先 GPT-5.5在終端機和命令列密集型工作方面表現更佳在純文本和編碼任務上落後 Claude 和 GPT-5.5
定價 (每百萬 tokens)輸入 $5 / 輸出 $25 (常規模式);輸入 $10 / 輸出 $50 (快速模式)GPT-4o (輸入 $5 / 輸出 $15);GPT-5.5 (輸入 $2.5-$5 / 輸出 $15)Gemini 3.1 Pro (輸入 $2.5 / 輸出 $15)
上下文視窗100萬 tokens未明確說明,但 GPT-4o 支援長上下文100萬 tokens
顯著差異專注於提高模型自我糾正和問題標記的能力,特別是在高風險專業工作流程中擁有最大的用戶基礎和成熟的工具生態系統在多模態任務和長上下文處理方面表現突出,且 API 輸出成本最低

🛠️ 技術深入

  • 模型架構:Claude 3 系列模型(Opus 4.8 所基於的基礎)採用了稀疏 Transformer 架構,透過在注意力機制中引入稀疏性,顯著降低了計算複雜度和記憶體需求,使其能夠擴展到前所未有的規模,同時保持高性能。
  • 訓練方法:模型利用無監督學習和「憲法式 AI」(Constitutional AI)等多種訓練方法,旨在開發可靠、可解釋和可控的 AI 系統。
  • 訓練基礎設施:模型在 Amazon Web Services (AWS) 和 Google Cloud Platform (GCP) 的硬體上進行訓練,核心框架包括 PyTorch、JAX 和 Triton。
  • 多模態能力:Claude 3 系列模型具備處理和解釋視覺輸入(如圖表、圖形和照片)的能力,以支援更豐富的上下文和擴展的用例。
  • 上下文視窗:Claude Opus 4.8 具有 100 萬 tokens 的上下文視窗,能夠同時處理整個程式碼庫、冗長的合約或數月的文檔。
  • 自我驗證與判斷:Opus 4.8 的一個關鍵改進是其「誠實性」,據稱其發現自身程式碼缺陷而不報告的機率比 Opus 4.7 低約四倍,並能主動標記輸入和輸出中的問題。

🔮 前景展望AI analysis grounded in cited sources

AI 在法律領域的應用將更加普及,但人類監督的重要性將大幅提升。
儘管 AI 模型在法律基準測試中表現優異,但其在「誠實陷阱」中的失敗表明,在實際法律工作中,對 AI 輸出的嚴格驗證和人類專業判斷仍不可或缺,以避免「幻覺」帶來的嚴重後果。
AI 模型開發商將更著重於提升模型的「誠實性」與自我糾正能力,而非僅僅追求原始智能。
Claude Opus 4.8 將「誠實性」作為其主要升級點,表明業界已意識到模型在複雜任務中主動識別並報告自身錯誤的能力,對於建立信任和實際應用至關重要。
法律專業人士將面臨雙重壓力:既要利用 AI 提升效率,又要承擔因 AI 錯誤而產生的法律責任。
隨著 AI 在法律實踐中的普及,法院可能會要求專業人士理解 AI 工具的能力和局限性,同時也可能要求在成為標準實踐時使用 AI,這意味著律師可能因誤用 AI 或未能有效利用 AI 而承擔責任。

時間線

2021-01
Anthropic 成立,由前 OpenAI 團隊成員創立,旨在開發安全、可解釋和可控的 AI 系統。
2023-03
Claude 首次公開發布,作為 Anthropic 的 AI 助手,並提供 API 存取。
2024-03
Claude 3 模型家族(Haiku、Sonnet 和 Opus)發布,在推理、數學、編碼和視覺品質方面樹立了新的行業基準。
2026-04-16
Claude Opus 4.7 發布,在軟體工程和視覺能力方面有顯著提升。
2026-05-28
Claude Opus 4.8 發布,主要改進包括更高的「誠實性」、判斷力、動態工作流程和更快的模式。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: ZDNet AI