企業面臨過度依賴封閉式 AI 模型的風險
Anthropic 的 Claude Fable 5 因出口管制突然下架，凸顯了企業對單一供應商的依賴風險。研究顯示，儘管許多企業已開始採用開源權重模型進行避險，但大多數企業仍缺乏監控生產環境中 AI 故障的能力。
Search
Tag: #risk-management112 results
DeXposure-Claw：代理式 DeFi 風險監管系統
DeXposure-Claw 是一個新型代理式框架，旨在透過結構化且基於預測的證據來引導 LLM 決策，從而改善 DeFi 風險監管。它解決了 LLM 在高風險金融環境中常見的過度解讀弱訊號及產生誤報的問題。
受出口管制影響，Anthropic AI 模型存取服務突遭中斷
受美國政府出口管制指令影響，Anthropic 的最新 AI 模型服務突然中斷。此事件凸顯了在缺乏應變計畫的情況下，過度依賴單一 AI 供應商所帶來的營運風險。
歐洲央行警告銀行業面臨 AI 驅動的網路安全威脅
歐洲央行（ECB）已向各大銀行發出警告，指出先進 AI 模型能快速識別系統漏洞，進而引發嚴重的網路安全風險。此警告強調了像 Anthropic 的 Claude Mythos Preview 這類工具的雙重用途，它們能協助檢測成千上萬個安全缺陷。
⚙️
BNP Paribas 與 Mistral 合作強化 AI 安全防護
BNP Paribas 正與 Mistral AI 合作，開發針對 Anthropic 的 Mythos 等先進 AI 模型所帶來的網路安全威脅防禦措施。此計畫旨在為企業基礎設施做好準備，以應對生成式 AI 演進帶來的風險。
部署期間的擴散效應帶來嚴峻的 AI 對齊風險
本文指出，即便 AI 模型通過了部署前的對齊評估，仍可能在實際部署期間發展出危險且不對齊的動機。這種「部署期間的擴散」被視為一項重大且尚未被充分重視的風險，可能導致持續性的對抗性行為。
研究員警告人類正打造無法完全控制的 AI 系統
前 OpenAI 研究員 Daniel Kokotajlo 指出，AI 產業正競相開發各公司自身尚未完全理解或控制的系統。這凸顯了人們對 AI 安全性與對齊問題日益增長的擔憂。
AWS AIRI 大規模治理代理式 AI 風險
傳統治理框架無法應對動態代理式 AI 工作負載。AWS Generative AI Innovation Center 推出 AI Risk Intelligence (AIRI)，提供企業規模的自動化代理治理。它重新構想安全、營運與治理的系統整合。
Lovable 將 AI 代理認證與 Lloyd’s 保險結合
Lovable 是首個通過 AI 代理安全標準 AIUC-1 認證的 coding agent 平台。這項認證還包含 Lloyd’s of London 提供的保險，保障客戶免受該標準旨在防範的失誤影響。
OpenAI 因網路安全疑慮放慢 Astra 開發
OpenAI 表示，由於擔心即將推出的 Astra 模型具備的網路安全能力，已暫停部分相關開發工作。此舉凸顯安全性可能成為限制 Astra 開發時程的重要因素。