💰較早收集於 2h

據報 Amazon CEO 曾對 Anthropic 模型提出安全疑慮

PostLinkedIn
💰閱讀原文: TechCrunch AI

💡Amazon CEO 的介入顯示雲端巨頭正對 AI 模型供應商實施更嚴格的安全監管。

⚡ 30-Second TL;DR

有什麼變化

Andy Jassy 據報發起了對 Anthropic 模型的安全審查。

為什麼重要

這顯示大型雲端合作夥伴正在加強對 AI 模型部署的治理。開發者應預期第三方模型整合將面臨更嚴格的安全合規要求。

下一步行動

請審查您目前的第三方模型整合,確保其符合貴組織內部的安全與資料隱私政策。

誰應關注:Developers & AI Engineers

關鍵要點

  • Andy Jassy 據報發起了對 Anthropic 模型的安全審查。
  • 此干預措施很可能導致特定模型在全球範圍內突然被限制存取。
  • 此舉凸顯了快速部署 AI 與企業安全標準之間的緊張關係。

🧠 深度解析

Web-grounded analysis with 39 cited sources.

🔑 增強重點摘要

  • 受影響的特定模型是 Fable 5 和 Mythos 5,這些模型在限制發布前僅數天推出,其中 Fable 5 面向公眾,而 Mythos 5 則限制給合作夥伴。
  • 據報導,Amazon 的研究人員成功「越獄」了 Anthropic 的 Fable 5 模型,使其生成可能協助網路攻擊的資訊,而這些資訊本應受到限制。
  • 美國政府,特別是川普政府,發布了一項出口管制指令,禁止外國國民(包括 Anthropic 自己的外國員工)因國家安全考量而存取這些模型。
  • 為遵守政府指令,Anthropic 隨後在全球範圍內對所有客戶禁用了 Fable 5 和 Mythos 5,並表示選擇性遵守是不切實際的。
  • 此事件標誌著美國政府對前沿 AI 模型最激進的干預之一,將出口管制從硬體擴展到 AI 模型本身,凸顯了 AI 技術日益增長的國家安全重要性。
📊 競品分析▸ Show
特性/模型Anthropic Claude Fable 5/Mythos 5Anthropic Claude Opus 4.6OpenAI GPT-5.5Google Gemini 2.5 Pro
發布日期2026年6月9日2024年3月 (Claude 3家族)2026年5月 (GPT-5.5)2026年2月 (Gemini 2.5 Pro)
輸入價格 (每百萬tokens)$10$5.00$5.00$1.25
輸出價格 (每百萬tokens)$50$25.00$30.00$10.00
上下文視窗未明確說明,但基於Mythos類架構1M tokens未明確說明,但GPT-5為400K tokens1M tokens
基準測試表現Mythos類別,超越Opus類別在MMLU、GPQA、GSM8K等基準測試中超越GPT-4和Gemini-1-Ultra;SWE-bench Verified 80.8%SWE-bench Verified 80.0% (GPT-5.2)在旗艦級別與GPT-5競爭
主要優勢最先進的公開模型,特別擅長識別軟體漏洞高智能、多模態輸入、擅長分析、預測、內容創作、程式碼生成廣泛採用、通用能力強多模態應用、移動整合、成本效益高
安全機制內建安全分類器,高風險查詢會路由至較低能力模型憲法式AI、拒絕和危害最小化政策、內容分類器、強化安全過濾器未詳細說明,但有安全護欄未詳細說明

🛠️ 技術深入

  • Anthropic 的安全方法核心是「憲法式 AI」(Constitutional AI),這是一種透過預定義的道德和行為原則來引導 AI 行為的框架,旨在減少對人工干預的依賴並最小化偏見。
  • Claude 3 模型家族支援多模態輸入,能夠處理文字和圖像(如圖表、圖形、照片),並輸出文字回應,擴展了其應用場景。
  • 這些模型在 Amazon Web Services (AWS) 和 Google Cloud Platform (GCP) 的硬體上進行訓練,並使用 PyTorch、JAX 和 Triton 等核心框架。
  • Fable 5 和 Mythos 5 屬於「Mythos-class」架構,該架構的前身 Mythos Preview 曾被證明能夠在主要作業系統和網路瀏覽器中發現嚴重漏洞。
  • Fable 5 內建額外的安全護欄,當偵測到潛在的高風險網路安全或生物學查詢時,會自動將請求路由到能力較低的 Claude Opus 4.8 模型。
  • Anthropic 採用強化學習自人類回饋 (RLHF) 和紅隊測試 (red-teaming) 等方法來持續評估和提升模型的安全性,以識別潛在的漏洞和惡意行為。
  • 據報導,導致模型被限制的「越獄」方法可能涉及利用 Unicode、同形異義字、西里爾字母、長上下文追蹤以及將有害請求分解為無害的、分佈外 (out-of-distribution) 的標記,然後再將其重新組合以繞過安全護欄。

🔮 前景展望AI analysis grounded in cited sources

AI模型出口管制將成為常態,影響全球AI技術的普及與合作。
美國政府首次對AI模型本身而非硬體實施出口管制,預示著AI技術將被視為國家安全資產,各國可能加速發展本土AI以避免依賴。
企業在部署前沿AI模型時將面臨更嚴格的安全審查和合規挑戰。
Amazon CEO的介入和政府的快速反應表明,即使是領先的AI公司也需應對來自合作夥伴和監管機構日益增長的國家安全擔憂。
Anthropic與Amazon的合作關係可能因安全疑慮和政府干預而面臨壓力。
儘管Amazon是Anthropic的重要投資者和雲端合作夥伴,但其CEO公開提出安全疑慮並促成政府行動,可能導致雙方關係的複雜化。

時間線

2023-09
Amazon 宣布對 Anthropic 進行戰略投資,最初為12.5億美元,總計可達40億美元,並將 Anthropic 模型整合到 Amazon Bedrock。
2024-03
Anthropic 推出 Claude 3 模型家族(Haiku, Sonnet, Opus),在多項基準測試中超越競爭對手。
2024-11
Amazon 再次投資 Anthropic 40億美元,使其總投資額翻倍,並將 AWS 命名為其主要訓練夥伴。
2026-04-20
Amazon 和 Anthropic 宣布深化合作,Anthropic 承諾在未來十年內在 AWS 技術上投入超過1000億美元。
2026-06-09
Anthropic 推出其最先進的 Claude Fable 5 和 Mythos 5 模型。
2026-06-12
Amazon CEO Andy Jassy 向美國政府提出安全疑慮後,美國政府發布出口管制指令,導致 Anthropic 於次日全球禁用 Fable 5 和 Mythos 5 模型。

📰 事件追蹤

📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: TechCrunch AI