🔬
OpenAI 強化網路關鍵模型的安全防護
OpenAI 正強化具備網路關鍵能力的前沿 AI 模型之監控、對齊與安全措施。這些防護機制旨在引導未來模型開發的速度與條件。
Search
Tag: #model-alignment14 results
Consilium Protocol：多模型 AI 審議的新架構
Consilium Protocol 引入了一種源自拜占庭容錯（BFT）的架構，將模型間的意見分歧視為認知信號。研究證明，在分析任務中，認知角色設定比單純的模型規模更能提升表現並降低成本。
🔬
語義密集上下文會觸發潛在空間發散
一項實證研究指出，長篇且語義密集的文本可能會改變模型的內部狀態，進而繞過對齊機制，且無需使用明確的越獄提示詞。研究者目前正尋求專家審核，以確認這是否為真實的語義劫持，還是模型架構產生的偽影。
為何單純的 SFT 數據過濾無法有效提升安全性？
Google DeepMind 研究人員分析了為何過濾 SFT 輸出往往無法有效移除模型的不良行為。研究指出，「幽靈般」的泛化現象以及教師模型的影響，導致即使經過數據清理，與安全相關的特性仍會持續存在。
SafeGene：用於可遷移安全對齊的可重用適配器
SafeGene 引入了一種模組化的 LLM 安全方法，將安全對齊與特定任務的微調解耦。它利用可重用的適配器在不同的模型更新中維持安全性，防止在下游訓練過程中常見的安全退化問題。
即便收到明確警告，LLM 仍會堅持錯誤資訊
研究顯示，大型語言模型在經過微調後，傾向於自信地將錯誤資訊呈現為事實。即使在提示中明確指出資訊為假，模型仍難以修正其偏見。
🔬
評估 AI 模型行為的必要性
本文指出目前的 AI 評估過度集中於能力指標，這反而會產生加速模型開發的外部效應。作者建議應轉向「行為評估」，以量化模型在諂媚傾向、內在渴望及環境操弄等方面的行為表現。
💼
白宮 AI 規則仍籠罩在神秘之中
文章探討白宮 AI 計畫流出的細節，同時指出政府幾乎沒有發布任何官方資訊。內容也透過與 METR 的 Chris Painter 討論，分析模型對齊目前的發展狀況。
主要大型語言模型在政治回應中顯示出黨派偏見
一項新的分析顯示，包括 ChatGPT 和 Gemini 在內的主流 AI 模型在處理政治問題時存在顯著差異。研究指出，部分模型表現出明顯的黨派傾向，引發了對其影響選民決策的擔憂。
🤖
社群發布 Qwen 3.7 的去審查與去限制版本
社群正積極在 Hugging Face 上創建並分享經過大幅修改、去審查的 Qwen 3.7 模型版本。這些變體採用了 MTP 和 SuperHOT 等技術來繞過限制。