政府敦促銀行測試黑名單Anthropic AI

🔑 增強重點摘要

• •Mythos 模型採用了 Anthropic 獨有的『憲法 AI』（Constitutional AI）架構，但在測試中被發現具備繞過傳統安全護欄的潛在能力，這正是國防部將其列入黑名單的核心爭議點。
• •此次測試計畫屬於美國財政部『金融韌性計畫』（Financial Resilience Initiative）的一部分，旨在利用生成式 AI 的對抗性測試能力，主動識別金融基礎設施中尚未被發現的零日漏洞。
• •JPMorgan Chase 內部已建立專屬的『沙盒環境』（Sandbox Environment），將 Mythos 模型與銀行核心交易系統進行物理隔離，以防止測試過程中的數據洩漏風險。

🛠️ 技術深入

• •Mythos 模型架構：基於 Anthropic 的 Claude 3.5 基礎架構進行微調，特別強化了對複雜網路協議（如 BGP、TLS 1.3）的語義理解能力。
• •對抗性測試機制：利用強化學習（RL）訓練模型生成針對性的攻擊向量，模擬進階持續性威脅（APT）的行為模式。
• •安全護欄機制：採用『憲法 AI』訓練，透過預定義的憲法原則（Constitutional Principles）限制模型輸出惡意代碼，但國防部指出該機制在特定高壓測試場景下存在邏輯失效風險。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線