💼較早收集於 11m

Anthropic CEO 呼籲對 AI 實施 FAA 式的監管

Anthropic CEO 呼籲對 AI 實施 FAA 式的監管
PostLinkedIn
💼閱讀原文: VentureBeat

💡Anthropic 發布新模型,並同步推動政府強制性的安全測試與部署禁令,影響企業 AI 佈局。

⚡ 30-Second TL;DR

有什麼變化

Anthropic 提議對超過 10^25 FLOPs 的模型進行強制性第三方測試。

為什麼重要

依賴基礎模型的企業必須為未來模型更新可能面臨的供應鏈波動與監管禁令做好準備。

下一步行動

分散您的模型供應商策略,以降低特定前沿模型可能因監管部署限制而帶來的風險。

誰應關注:Enterprise & Security Teams

關鍵要點

  • Anthropic 提議對超過 10^25 FLOPs 的模型進行強制性第三方測試。
  • 新的政策框架旨在降低生物、網路安全和自主性方面的災難性風險。
  • Claude Fable 5 與具備進階網路安全能力的 Claude Mythos 5 已正式發布。
  • 政府未來可能擁有封鎖或延遲部署未達安全標準模型的法律權限。

🧠 深度解析

Web-grounded analysis with 16 cited sources.

🔑 增強重點摘要

  • Anthropic 的監管提案源於其「負責任擴展政策 (RSP)」,該政策定義了「AI 安全等級 (ASL)」(ASL-1 至 ASL-4+),要求隨著模型能力的提升,實施日益嚴格的安全、保障和操作標準,包括在未能達到安全程序時暫停開發。
  • Claude Fable 5 雖然已廣泛發布,但內建安全防護措施,會將與網路安全、生物、化學和健康相關的有害提示重新導向至能力較低的 Claude Opus 4.8 模型,以減輕濫用風險。
  • Claude Mythos 5 是 Fable 5 的全功能版本,移除了特定領域的安全防護措施,僅限於一小部分經過審查的合作夥伴使用,例如透過與美國政府合作的 Project Glasswing,提供給網路防禦者和基礎設施供應商,因為其在漏洞發現和生物防禦篩選等敏感領域具有先進能力。
  • 強制性第三方測試的 10^25 FLOPs 閾值與歐盟 AI 法案中「系統性風險」的定義一致,該法案規定了紅隊測試和風險評估等額外義務,而美國行政命令則將報告閾值設定為更高的 10^26 FLOPs。

🛠️ 技術深入

  • Claude Fable 5 / Mythos 5 模型架構與功能
    • 上下文視窗:預設支援 100 萬個 token。
    • 輸出 token:每次請求最多可達 128k 個輸出 token。
    • 核心能力:專為雄心勃勃、長期運行的代理任務設計,包括複雜的程式碼重構、深度研究綜合和文件密集型工作流程。
    • 異步執行:能夠處理複雜任務,長時間執行程式碼和知識工作任務而無需干預。
    • 高級視覺能力:能夠理解文件和 PDF 中嵌套的圖表、圖形和表格,並利用視覺來評估其程式碼輸出是否符合目標。
    • 主動自我驗證:模型能夠根據學習更新技能,開發自己的測試工具和評估方法。
    • 安全分類器:Claude Fable 5 內建安全防護,將網路安全、生物、化學和健康相關的有害提示重新導向至 Claude Opus 4.8。Claude Mythos 5 是相同底層模型,但移除了這些安全分類器。
    • 定價:輸入 token 每百萬 10 美元,輸出 token 每百萬 50 美元。
  • Anthropic AI 安全方法
    • 憲法式 AI (Constitutional AI):一個旨在使 AI 系統與人類價值觀(有益、無害、誠實)保持一致的框架,透過一套指導原則來訓練 AI。
    • 可解釋性研究:Anthropic 進行並發布關於機器學習系統可解釋性的研究。
    • 人類回饋強化學習 (RLHF):用於基於用戶互動和評估進行持續的模型改進。

🔮 前景展望AI analysis grounded in cited sources

AI 監管將趨向強制性第三方測試和部署門檻。
Anthropic 的提案,加上歐盟 AI 法案已設定 FLOPs 閾值,表明政府和業界對高能力 AI 模型的安全部署將採取更嚴格的審查機制。
具備雙重用途潛力(如網路安全、生物科技)的 AI 模型將面臨更嚴格的存取控制。
Claude Mythos 5 的有限發布模式,以及與美國政府合作的 Project Glasswing,顯示了對高風險 AI 能力進行嚴格審查和限制性存取的趨勢。
AI 開發者將更積極地將安全機制內建於模型設計中,而非事後補救。
Anthropic 的「負責任擴展政策」和 Fable 5 內建的安全分類器,體現了將安全作為核心產品策略的行業轉變。

時間線

2021-01
Anthropic 成立,專注於 AI 安全研究。
2023-03
Claude AI 首次公開發布。
2023-09
Anthropic 發布其「負責任擴展政策 (RSP) v1.0」,引入 AI 安全等級 (ASL) 框架。
2024-03
Claude 3 系列模型 (Haiku, Sonnet, Opus) 發布。
2026-02
Anthropic 發布其「負責任擴展政策 (RSP) v3.0」更新。
2026-06
Anthropic CEO Dario Amodei 呼籲對 AI 實施 FAA 式監管,並發布 Claude Fable 5 和 Claude Mythos 5。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: VentureBeat