LLM Judges Are Vulnerable to Post-Decision Manipulation

•此研究揭示，操縱機制包括信心誤校準（confidence miscalibration）、低重疊合理化（low-overlap rationalization）以及對權威的敏感性（authority sensitivity），這些因素導致模型在判斷被推翻後，會產生事後解釋而非真正的錯誤修正。
•決策後的可逆性對實際評估結果產生負面影響，包括降低LLM評審與人類偏好的一致性，進而可能導致基準測試排行榜的偏差。
•這項工作將決策後操縱定義為一種獨特的穩健性失效模式，與先前研究中探討的提示敏感性或說服影響不同，因為它是在候選回應固定後，僅透過改變與評審模型的互動來達成。
•實驗在 MT-Bench 和 AlpacaEval 等廣泛使用的基準測試框架上進行，並使用了 GPT-4o 和 GPT-4o-mini 作為評審模型，以探討不同模型能力下對對話式操縱的穩健性差異。

決策後操縱的定義：指在初始判斷做出後，透過與評審模型進行後續對話，評估結果被改變的程度。
挑戰式評估協議：研究引入了一種基於挑戰的評估協議，用於衡量穩定判斷是否能透過後續互動被推翻。
操縱機制：主要機制包括信心誤校準（模型對其判斷的信心與實際準確性不符）、低重疊合理化（模型在改變判斷後提供與原始判斷理由重疊度低的解釋）以及對權威的敏感性（模型判斷易受權威性框架的影響）。
評估穩健性分數 (ERS)：這是一個量化對話式操縱穩健性的指標，結合了判斷被推翻的可能性與平衡定向效應。
實驗設定：研究在 MT-Bench 和 AlpacaEval 基準測試上進行了受控實驗，選用 GPT-4o 和 GPT-4o-mini 作為評審模型，並採用確定性解碼（溫度=0）以最小化隨機變異。
先前相關工作：LLM-as-a-judge 框架如 MT-Bench 用於評估多輪對話和指令遵循能力，AlpacaEval 則用於評估單輪指令遵循輸出。
其他攻擊類型：除了決策後操縱，LLM-as-a-judge 系統也曾被發現容易受到通用對抗性攻擊（如短語）和組合攻擊（如 PAIR 優化對抗性輸入結合長後綴操縱）的影響。

未來的LLM評測標準將需要整合互動穩健性評估。

僅依賴靜態基準測試不足以確保模型在動態互動環境中的可靠性，ERS等指標將成為必要組成部分。

開發者將優先設計對抗決策後操縱更具韌性的LLM評審模型。

為了提高評測結果的信任度，模型需要減少對權威框架的敏感性並改進其事後合理化機制。

LLM基準測試排行榜的可靠性將受到重新審視，並可能需要調整其評分方法。

由於現有排名可能因互動失敗模式而產生偏差，未來需要更全面的評估協議來反映模型的真實性能。

2022

早期研究開始識別LLM評估的局限性，包括對提示的敏感性和系統性偏差。

2023

LLM-as-a-judge 範式興起，MT-Bench 和 AlpacaEval 等框架顯示出與人類偏好高度一致的評估能力。

2024-02

首次針對評估型LLM的對抗性穩健性研究發表，揭示通用對抗性攻擊可導致評分虛高。

2025-02

SCORE（系統性一致性和穩健性評估）框架被提出，用於非對抗性LLM評估，強調提示詞改寫和答案選項重排對準確性的影響。

2025-06

RobustJudge 框架開發完成，旨在系統性評估LLM-as-a-judge系統對15種對抗性攻擊和7種防禦策略的穩健性。

2026-06

ArXiv 論文《Stability vs. Manipulability》發表，引入決策後操縱作為LLM評估的獨特失效模式，並提出評估穩健性分數（ERS）。

LLM 評測模型極易受到決策後操縱的影響