🤖Reddit r/MachineLearning•較早收集於 2h
ICLR 2025 口頭論文 SQL 評估有重大缺陷
💡揭露頂尖 ICLR 論文評估缺陷—代碼 LLM 研究者必看 (28字)
⚡ 30-Second TL;DR
有什麼變化
論文使用自然語言指標評估 SQL，而非基於執行。
為什麼重要
強調 ML 會議評估缺陷風險，呼籲代碼生成任務採用更好基準。
下一步行動
檢視 openreview.net/forum?id=GGlpykXDCa 論文並重現 SQL 評估測試。
誰應關注：Researchers & Academics
關鍵要點
- •論文使用自然語言指標評估 SQL，而非基於執行。
- •測試顯示評估有 20% 假陽性率。
- •質疑儘管缺陷仍獲 ICLR 2025 口頭報告。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗