Anthropic的「奧本海默時刻」：最害怕 AI 的公司，正在造最危險的 AI

🔑 增強重點摘要

• •Anthropic 採用「憲法 AI」（Constitutional AI）架構，試圖透過預先定義的原則集來自動化監督學習過程，以減少對人類反饋的依賴並降低模型偏見。
• •該公司由前 OpenAI 員工創立，其核心治理結構包含一個「長期利益信託」（Long-Term Benefit Trust），旨在確保 AI 開發優先考慮公共安全而非僅追求股東利益。
• •Anthropic 在 2025 年至 2026 年間積極推動「負責任的擴展政策」（Responsible Scaling Policy），將模型能力提升與嚴格的安全評估閾值掛鉤，若模型在測試中表現出自主複製或欺騙行為，將自動觸發暫停開發機制。

🛠️ 技術深入

• •模型架構：採用基於 Transformer 的解碼器架構，並針對長上下文窗口（Long Context Window）進行了深度優化，支援高達數百萬 token 的輸入處理。
• •訓練機制：引入「監督式微調」（SFT）與「基於 AI 反饋的強化學習」（RLAIF），利用 AI 根據憲法原則對模型輸出進行評分與修正。
• •安全防護：實施「紅隊測試」（Red Teaming）自動化流程，在模型發布前進行大規模的對抗性攻擊模擬，以識別潛在的有害輸出模式。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線