為何自信犯錯的 LLM 可能保持穩定

💡自信錯誤可能是穩定而非脆弱；了解如何超越一致性測試 LLM 可靠性。

⚡ 30-Second TL;DR

有什麼變化

提出輸出層級的稽核分數，透過強制作答基準衡量信心變化與過度自信錯誤。

為什麼重要

研究結果顯示，提示詞可能穩定模型的局部表徵，卻不一定改善校準能力。因此，AI 實務人員不應將較低的敏感度或一致輸出視為正確性的證據。

下一步行動

在 LLM 評估套件中加入提示詞擾動測試、校準指標與具備拒答意識的自我批判，不要以輸出一致性作為可靠性的代理指標。

誰應關注：Researchers & Academics

AI-generated analysis for this event.

•研究指出，這種「穩定失準」（Stable Misalignment）現象與模型訓練過程中的強化學習（RLHF）對齊稅（Alignment Tax）有關，模型為了追求回答的流暢度與一致性，往往犧牲了對不確定性的表達能力。
•實驗發現，當模型處於「自信錯誤」狀態時，其隱藏層的激活模式（Activation Patterns）與正確回答時極為相似，這暗示了模型內部可能存在一種「幻覺路徑」，使其在錯誤路徑上產生了高機率的預測。
•透過對比分析發現，參數規模較大的模型（如 70B 以上）在面對此類錯誤時，比小型模型（如 7B）表現出更強的「穩定性」，這顯示模型規模擴大可能加劇了過度自信的問題。
•研究引入了「語義一致性檢查」（Semantic Consistency Check）作為一種緩解策略，發現若要求模型在不同溫度參數（Temperature）下多次生成，能有效識別出那些雖然自信但邏輯不一致的錯誤。
•該研究進一步證實，現有的拒答機制（Refusal Mechanisms）往往過於依賴提示詞工程，而無法從模型底層的概率分佈中有效區分「不知道」與「錯誤自信」。

隱藏狀態敏感度分析：研究採用了線性探針（Linear Probing）技術，監測模型在接收自我批判提示前後，各層隱藏狀態（Hidden States）在歐幾里得空間中的位移量。
稽核分數計算：定義為模型在強制選擇任務中，對錯誤選項的對數機率（Log-probability）與正確選項的差值，並結合熵（Entropy）指標來衡量信心強度。
決策損失函數：採用了加權交叉熵損失（Weighted Cross-Entropy Loss），在訓練階段針對過度自信的錯誤樣本進行懲罰，以觀察模型對不確定性邊界的調整能力。
提示詞干預機制：透過在輸入序列中加入「請重新評估你的邏輯」等指令，觀察模型注意力機制（Attention Mechanism）權重在不同層級的重分配情況。

未來模型架構將整合內建的不確定性估計層。

由於現有模型無法可靠區分自信錯誤，開發者將被迫在架構層面引入專門用於評估預測置信度的輔助模組。

RLHF 訓練流程將轉向強調『拒答能力』而非僅僅是『回答流暢度』。

研究顯示過度自信源於對齊過程中的偏誤，未來的訓練目標將更重視模型在缺乏知識時主動承認的能力。

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #calibration

同產品

更多關於 stable-miscalibration-in-llms

同來源

最新來自 ArXiv AI

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗