💰較早收集於 4m

政府因安全疑慮暫停 Anthropic 模型部署

PostLinkedIn
💰閱讀原文: TechCrunch AI

💡了解政府對 AI 安全的干預將如何影響您的模型部署與合規策略。

⚡ 30-Second TL;DR

有什麼變化

政府當局暫停了 Anthropic 旗艦 AI 模型的部署。

為什麼重要

此事件凸顯了監管機構對 AI 安全性的審查日益嚴格,以及政府介入商業模型發布的可能性。這為「越獄」漏洞如何被視為產品召回的理由開創了先例。

下一步行動

審查您的模型紅隊測試協議,確保在監管行動介入前,能記錄並緩解狹窄的越獄風險。

誰應關注:Founders & Product Leaders

關鍵要點

  • 政府當局暫停了 Anthropic 旗艦 AI 模型的部署。
  • 此決定源於發現了一個狹窄的潛在越獄漏洞。
  • Anthropic 公開反對召回,理由是該模型已廣泛應用於商業領域。

🧠 深度解析

Web-grounded analysis with 33 cited sources.

🔑 增強重點摘要

  • 政府暫停部署的具體模型是 Anthropic 的 Fable 5 和 Mythos 5,其中 Mythos 5 是 Fable 5 的底層模型,以其在網路安全漏洞發現方面的強大能力而聞名。
  • 美國商務部發布了出口管制指令,要求暫停全球所有外國國民(包括 Anthropic 的外國員工)對這些模型的存取,理由是國家安全考量。
  • 此決定是在另一家公司聲稱能夠越獄 Mythos 模型後做出的,該越獄方法可能涉及「角色扮演越獄」或「人格注入」技術,類似於先前用於入侵墨西哥政府機構的攻擊手法。
  • Anthropic 執行長 Dario Amodei 曾公開呼籲政府應有權力阻止危險 AI 模型的部署,這與此次政府對其模型的干預形成了對比。
  • Anthropic 曾為 Fable 5 實施了安全防護措施,例如將網路安全、生物學和化學等敏感查詢重新導向至能力較低的模型,並曾默默降低 AI 開發的性能,但後來改變為可見的提示。
📊 競品分析▸ Show
特性/模型Anthropic Claude 3 OpusOpenAI GPT-4oGoogle Gemini 1.5 Pro
多模態能力具備複雜的視覺能力,可處理照片、圖表和技術圖表。在理解和生成跨多種模態(包括圖像、音訊和視訊)的內容方面表現卓越。專為原生處理圖像、音訊、視訊和程式碼而設計,是目前多模態能力最強的模型。
上下文視窗初始提供 200K token,可應客戶要求支援超過 100 萬 token。支援高達 128K token。支援高達 100 萬 token,但串流模式下分塊處理。
程式碼生成擅長編寫可解釋的程式碼,並能清晰地進行偵錯和對話。在程式碼生成和理解方面表現出色,是開發人員的寶貴工具。具備程式碼生成能力,並能將程式碼整合到多模態任務中。
成本效益在客戶聊天等工作負載中,輸出 token 成本相對較高。在多數場景下提供平衡的成本效益。在短提示(低於 128K token)下成本最低,但超過此閾值後價格翻倍。
安全與對齊核心關注 AI 安全,採用憲法式 AI 和 RLHF 等方法。亦強調安全,但 Anthropic 在此領域有更明確的定位。整合了安全功能,但具體方法與 Anthropic 有所不同。

🛠️ 技術深入

  • Anthropic 的模型(如 Claude 3 系列)以其對安全性、可解釋性和可控性的核心關注而聞名。
  • 關鍵的安全方法包括「憲法式 AI」(Constitutional AI) 和「人類回饋強化學習」(RLHF),旨在使模型行為與人類價值觀保持一致。
  • Claude 3 模型提供 200K 的上下文視窗,並可應客戶要求支援超過 100 萬個 token 的輸入。
  • 這些模型具備複雜的視覺能力,能夠處理照片、圖表、圖形和技術圖表等多種視覺格式。
  • 報導中的「越獄」技術可能涉及「角色扮演越獄」或「人格注入」,透過操縱模型採用虛構身份來規避其安全防護。
  • Anthropic 採用紅隊測試、漏洞獎勵計畫和威脅情報等方法,持續評估越獄威脅。
  • Fable 5 模型曾實施安全防護,將網路安全、生物學和化學等敏感查詢重新導向至能力較低的 Claude Opus 4.8 模型,並曾默默降低 AI 開發的性能,後改為可見提示。
  • Mythos Preview 模型曾被報導能夠發現主要作業系統和瀏覽器中的數千個高嚴重性漏洞,並能開發出可用的漏洞利用程式。

🔮 前景展望AI analysis grounded in cited sources

政府對前沿 AI 模型的監管將顯著加強
此次事件預示著各國政府將對具有潛在國家安全風險的先進 AI 模型實施更嚴格的審查和部署控制。
AI 模型的「紅隊測試」和安全評估將成為行業標準
為應對越獄漏洞和潛在濫用,獨立且強制性的紅隊測試和安全評估將成為 AI 模型發布前的必要環節。
AI 開發者與監管機構之間的緊張關係將持續存在
Anthropic 對召回的公開反對表明,在創新速度與安全保障之間,AI 公司與政府監管機構將面臨持續的權衡與衝突。

時間線

2021-01
Anthropic 成立,旨在進行 AI 安全研究並開發可靠、可解釋和可控的 AI 系統。
2023-03
Anthropic 推出其 AI 助理 Claude。
2024-03
Anthropic 推出 Claude 3 模型家族(Haiku、Sonnet 和 Opus),在多項認知任務上樹立了新的行業基準。
2025-12
報導指出,有攻擊者利用 Anthropic 的 Claude AI 聊天機器人越獄並入侵了多個墨西哥政府機構。
2026-06-02
美國總統發布行政命令,旨在加強 AI 網路安全並建立自願性框架,供前沿 AI 模型開發者在廣泛發布前與政府合作。
2026-06-13
美國政府發布出口管制指令,暫停所有外國國民對 Anthropic Fable 5 和 Mythos 5 模型的存取,理由是國家安全疑慮。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: TechCrunch AI