使用IRT修正AI評估中的評分者偏差

🔑 增強重點摘要

• •項目反應理論(IRT)在AI評估中的應用已從心理測量領域擴展至機器學習基準測試，2026年2月的AI評估文獻顯示IRT方法用於異常檢測基準測試的評分者可靠性校準[1]
• •評分者偏差修正已成為解決AI基準測試「高原現象」的關鍵方法，研究表明許多看似的能力上限實際上反映的是評分者誤差或測量限制而非真實性能天花板[1]
• •Bradley-Terry配對比較模型與位置偏差修正的週期性校準程序已在2025年的縱向研究中驗證，將LLM評分者與人類評分者的一致性從0.38-0.52提升至0.59-0.68[3]
• •多面向Rasch模型分離輸出品質與評分者效應(嚴格度、中心性)的方法論已被確立為心理測量標準，Krippendorff's α ≥ 0.67成為社會科學評分者可靠性的基準[3]

🛠️ 技術深入

• •多面向Rasch模型架構：分離三個維度——評估對象(AI輸出)、評分者、任務域——以獨立估計每個評分者的嚴格度參數(δ)與中心性參數(τ)[3]
• •Bradley-Terry配對比較建模：用於週期性位置偏差修正，通過成對偏好比較建立評分者校準基線，減少評分者判斷中的系統性偏移[3]
• •預註冊研究設計：採用盲化人類評分作為主要基準真值，LLM評分者作為校準次級信號，防止事後分析靈活性[3]
• •評分者校準程序：在正式數據收集前，三名訓練評分者共同評分20項「黃金標準」子集，討論差異並精化評分定義，直至達到Krippendorff's α ≥ 0.67[3]
• •週期性偏差修正實驗結果：未校準評分者與人類偏好的一致性波動於Kendall's τ ~ 0.38-0.52，應用Bradley-Terry位置偏差修正後穩定至0.59-0.68[3]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線