🤖OpenAI News•較早收集於 19h
OpenAI 棄用有缺陷的 SWE-bench Verified
#benchmarks#leakage#evaluationswe-benchopenaiswe-bench-verifiedswe-bench-pro
💡OpenAI exposes SWE-bench flaws & recommends Pro—reassess your coding evals now
⚡ 30-Second TL;DR
有什麼變化
SWE-bench Verified 污染日益嚴重
為什麼重要
此決定削弱現有 SWE-bench 排行榜效力，促使 AI 團隊採用更乾淨的基準來進行可靠程式碼評估。這顯示 AI 研究中對基準完整性的審視日益嚴格。
下一步行動
Test your coding models on SWE-bench Pro benchmark immediately for accurate progress tracking.
誰應關注：Researchers & Academics
關鍵要點
- •SWE-bench Verified 污染日益嚴重
- •無法準確衡量前沿程式碼模型進展
- •測試缺陷與訓練資料外洩
- •OpenAI 建議改用 SWE-bench Pro
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： OpenAI News ↗
每週 AI 簡報
每週一封，可隨時退訂。