用統計嚴謹性取代 LLM 評估的主觀感受

有什麼變化

使用 Bootstrap 信賴區間與配對顯著性檢定，區分真實改善與抽樣噪音。

為什麼重要

採用這些方法能讓 LLM 發布決策更具可信度，並降低部署後才發現的回歸問題。這也能協助團隊在營運限制下平衡品質，而不是只追求主觀上的「感覺更好」。

下一步行動

為下一次提示詞變更建立配對評估框架，計算 Bootstrap 信賴區間，並在回歸測試失敗時阻止部署。