LLM 基準測試的漂移比你想像中更嚴重

有什麼變化

研究將基準測試視為縱向測量問題，而不是靜態排行榜活動。

為什麼重要

靜態基準分數可能無法準確反映 API 託管模型目前的行為，尤其當供應商悄悄更改服務或模型設定時。依賴模型比較的 AI 團隊應監測時間穩定性，並區分真正的能力變化與基礎設施或方法因素。

下一步行動

針對正式環境使用的 LLM API 執行版本化重複基準測試，並分別記錄模型中繼資料、可用性失敗與每日中位數。