🤖Reddit r/MachineLearning•最新收集於 24m
AAAI 審稿人是否應懲罰未提供程式碼的論文？
💡了解為何未提供程式碼正成為機器學習同行評審中的重大疑慮。
⚡ 30-Second TL;DR
有什麼變化
一名審稿人表示，AAAI 2027 投稿中附帶程式碼的論文數量偏低。
為什麼重要
若這種做法更廣泛採用，程式碼可用性可能成為機器學習同行評審中更強的正式或非正式訊號。不過，懲罰未提供程式碼的論文，可能對使用專有資料、受安全限制或難以公開實作的研究不利。
下一步行動
在下一篇論文中加入可重現性清單，並準備經過資料清理的程式碼版本，附上環境檔、訓練指令與評估腳本。
誰應關注：Researchers & Academics
關鍵要點
- •一名審稿人表示，AAAI 2027 投稿中附帶程式碼的論文數量偏低。
- •文章建議，是否提供程式碼可納入初步審稿評分考量。
- •作者認為，在同行評審結束後公開程式碼，可降低他人竊取想法的疑慮。
- •討論將缺乏實作與可重現性風險，以及可能捏造實驗結果的問題連結起來。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •AAAI 官方已在近年推動『可重現性檢查表』（Reproducibility Checklist），要求作者說明程式碼、數據集及運算資源的可用性，但並未強制要求開源。
- •學術界對於強制開源存在隱私與商業機密考量，特別是涉及醫療數據或與企業合作的專利技術，強制開源可能導致法律與合規風險。
- •NeurIPS 與 ICML 等頂級 AI 會議已實施更嚴格的『可重現性挑戰』（Reproducibility Challenge），並提供專門的獎項鼓勵驗證他人研究成果。
- •研究顯示，缺乏程式碼的論文在引用率與學術影響力上，長期而言顯著低於提供完整實作的論文，這已成為學術界推動開源的隱性動力。
- •AI 領域的『偽造實驗結果』風險不僅來自於程式碼缺失，還包括數據集污染（Data Contamination）與評估指標的選擇性偏差（Cherry-picking），單靠程式碼開源難以完全解決。
🔮 前景展望AI analysis grounded in cited sources
頂級 AI 會議將全面強制執行程式碼審查機制
隨著 AI 偽造研究風險增加，AAAI 等會議預計將把程式碼提交從『建議』轉為『強制』審查項目。
自動化可重現性驗證工具將成為審稿標準配備
為減輕審稿人負擔，會議將導入自動化容器化環境（如 Docker）檢查，以確保論文程式碼能在標準環境下運行。
⏳ 時間線
2019-05
NeurIPS 首次引入可重現性檢查表，成為 AI 會議推動透明度的先驅。
2021-02
AAAI 正式將可重現性檢查表納入投稿流程，要求作者說明實驗細節。
2023-06
ICML 強化審稿準則，鼓勵審稿人將程式碼可用性納入評分考量。
2025-09
AAAI 針對 2026 年會議發布新版審稿指南，進一步強調實驗結果的可驗證性。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗