🔥36氪•較早收集於 23m
智源FlagSafe平台正式發布
💡全新FlagSafe開放平台，提供頂尖中國實驗室LLM安全紅藍隊工具。（30字元）
⚡ 30-Second TL;DR
有什麼變化
智源AI研究院與多所大學聯合發布
為什麼重要
為中國AI社群提供開放安全工具，加速安全LLM部署。促進學術與研究院合作。
下一步行動
使用FlagSafe平台對你的LLM進行紅隊評估。
誰應關注：Researchers & Academics
關鍵要點
- •智源AI研究院與多所大學聯合發布
- •聚焦紅隊演練、藍隊防禦、白盒透視
- •匯聚大模型風險發現與防禦項目
- •高標準安全治理平台
🧠 深度解析
本篇為 AI 生成分析，非原文內容。
🔑 增強重點摘要
- •FlagSafe 平台整合了智源研究院在「悟道」系列模型研發過程中積累的安全評測數據集與對抗樣本庫，旨在解決大模型在落地應用中的幻覺與安全對齊問題。
- •該平台採用了模組化架構，支持針對不同垂直領域（如醫療、金融）的定製化安全評測策略，並提供自動化的漏洞掃描與修復建議。
- •FlagSafe 引入了動態對抗演練機制，能夠模擬真實場景下的惡意提示詞攻擊（Prompt Injection），並實時監測模型的輸出安全性。
📊 競品分析▸ Show
| 特性 | FlagSafe (智源) | Microsoft Azure AI Content Safety | Google Cloud Vertex AI Guardrails |
|---|---|---|---|
| 核心定位 | 學術與產業結合的開源安全治理平台 | 企業級雲端安全過濾與審核 | 雲原生模型防護與合規治理 |
| 技術重點 | 紅藍對抗、白盒透視、機理解釋 | 內容審核、有害內容檢測 | 輸出過濾、輸入防護、合規性檢查 |
| 定價模式 | 研究機構免費/開源生態 | 按 API 調用量計費 | 按使用量計費 |
| 基準測試 | 側重於模型內部機理與對抗魯棒性 | 側重於內容合規與安全性指標 | 側重於企業級部署的穩定性與合規 |
🛠️ 技術深入
FlagSafe 平台的技術架構包含以下核心組件：
- 白盒透視引擎：利用模型權重分析技術，識別神經網絡中的潛在脆弱區域，實現對模型決策路徑的可解釋性分析。
- 紅隊演練框架：內置多種自動化攻擊算法（如基於梯度的攻擊、遺傳算法攻擊），用於生成高質量的對抗樣本。
- 藍隊防禦模組：採用基於強化學習的對齊技術（RLHF/DPO），在不顯著降低模型性能的前提下，提升模型對惡意指令的拒絕能力。
- 評測基準庫：包含針對大模型常見安全風險（如隱私洩露、偏見、有害內容）的標準化測試集，支持多維度評分。
🔮 前景展望AI analysis grounded in cited sources
FlagSafe 將成為中國國產大模型安全合規的行業標準參考。
智源研究院作為國家級研究機構，其發布的評測標準與工具極易被納入行業監管框架與企業採購合規要求中。
大模型安全防禦將從被動過濾轉向主動的機理解釋與修復。
FlagSafe 強調的白盒透視功能標誌著安全技術正深入模型內部參數層面，而非僅僅依賴外部的輸入輸出過濾器。
⏳ 時間線
2021-03
北京智源人工智能研究院發布「悟道 1.0」超大規模智能模型。
2023-06
智源研究院發布「悟道·天鷹」(Aquila) 系列模型，開始探索大模型安全對齊技術。
2025-11
智源研究院啟動 FlagSafe 安全專項研究，聯合北大、北郵等高校進行技術攻關。
2026-05
FlagSafe 大模型安全平台正式對外發布。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 36氪 ↗
每週 AI 簡報
每週一封，可隨時退訂。