語言模型對不公規則的盲目拒絕

💡語言模型拒絕75%合理規則規避—對齊關鍵缺陷曝光（42字）

⚡ 30-Second TL;DR

有什麼變化

資料集橫跨5種規則失效類別與19種權威類型

為什麼重要

突顯語言模型規範推理與行為脫鉤，挑戰現有安全訓練。為對齊研究提供洞見，讓模型能合理不遵守而不冒濫用風險。

下一步行動

下載arXiv:2404.06233資料集，基準測試您的語言模型盲目拒絕現象。

誰應關注：Researchers & Academics

AI-generated analysis for this event.

•研究指出這種現象被稱為「過度防禦」（Over-refusal），源於RLHF（人類回饋強化學習）過程中對安全邊界的過度校準，導致模型無法區分『有害請求』與『對不合理規則的質疑』。
•該研究揭示了模型在處理『權威性』時存在認知偏差，即使規則明顯違反常識或法律，模型仍傾向於優先執行系統提示詞（System Prompt）中的服從指令，而非進行邏輯判斷。
•實驗數據顯示，模型規模（參數數量）與拒絕率之間並非線性關係，部分較小模型在處理複雜權威失效情境時，反而比大型模型表現出更強的靈活性，暗示了安全對齊策略在不同架構間的遷移性問題。

•研究採用了合成資料集（Synthetic Dataset）生成技術，利用強大的模型（如GPT-4o）模擬出包含法律、行政、學術等19種權威情境的對話腳本。
•評估框架引入了『拒絕一致性分數』（Refusal Consistency Score），用於量化模型在面對相同邏輯失效但不同權威語境下的行為穩定性。
•測試模型家族涵蓋了閉源模型（如GPT-4系列、Claude 3.5系列）與開源模型（如Llama 3、Mistral），透過系統提示詞注入（System Prompt Injection）測試模型對規則邊界的敏感度。
•分析方法採用了自動化評估管道，利用分類器對模型回應進行『拒絕』、『接受』或『中立』的標註，並結合人工抽樣驗證以確保準確度。

安全對齊技術將轉向『情境感知型對齊』

為了修正過度拒絕問題，未來的訓練方法將不再僅依賴單一的安全閾值，而是引入對規則合理性的邏輯評估機制。

模型評估基準將納入『拒絕合理性』指標

現有的安全基準測試將被迫更新，以區分模型是因為安全風險而拒絕，還是因為無法辨識規則失效而盲目拒絕。

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #blind-refusal

同產品

更多關於 llms

同來源

最新來自 ArXiv AI

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗