The failure of academic peer review in the AI era

•AI工具導致學術投稿量激增與品質下降：自ChatGPT發布以來，部分學術期刊的投稿量激增超過四成，但論文寫作品質卻明顯下滑，導致大量新增投稿在初步篩選階段即被駁回。
•AI生成內容的「幻覺」問題嚴重威脅學術誠信：AI模型能生成看似可信但實際不存在的參考文獻，導致論文引用造假率在生物醫學領域於短短幾年內激增逾12倍，傳統同行評審難以察覺。甚至有AI系統能獨立完成從研究問題到論文撰寫並通過國際學術會議的同行評審，但仍存在引用不存在論文的「幻覺」問題。
•AI內容檢測工具存在偏見與不準確性：許多AI檢測工具的誤報率不低（例如Turnitin在句子分析上誤報率為4%），且可能對非英語母語作者的論文產生偏見，將其誤判為AI生成，引發學術冤案和誠信危機。
•學術界正積極制定AI使用規範，強調透明揭露而非作者身份：國際醫學期刊編輯委員會（ICMJE）及《Science》等主要期刊已明確規定AI不能作為論文作者，但要求作者誠實且透明地揭露AI在論文寫作或研究過程中的具體輔助。
•AI也被開發用於輔助同行評審以緩解審稿人負擔：AI工具可協助編輯進行初步篩選、格式檢查、抄襲偵測、參考文獻驗證，甚至推薦審稿人，以期減輕人類審稿人的重複性工作並加速審稿流程。

AI輔助審稿工具：運用自然語言處理（NLP）、機器學習（ML）和模式檢測工具，分析稿件的結構、語言、參考文獻和統計數據，提供關於清晰度、完整性和技術質量的結構化反饋。
大型語言模型（LLMs）在同行評審中的應用：
- 鏈式思考（Chain-of-Thought Reasoning）：將複雜評估任務分解為一系列邏輯分析步驟，提高準確性並減少「幻覺」現象。
- 工具使用能力（Tool-use Capabilities）：LLMs可利用外部工具（如網絡搜索、API請求）訪問外部數據庫，進行引文和統計驗證，並與已發表文獻進行交叉參考。
- 工作流編排（Workflow Orchestration）和集成系統（Ensemble Systems）：協調多個專門模型或聚合多個模型的輸出，進一步提升AI輔助審稿的效能。
AI生成論文系統：例如日本Sakana AI開發的「AI科學家」系統，能模擬人類科研流程，包括提出研究方向、篩選文獻、透過模板或代碼進行實驗、使用LaTeX起草論文（包含方法、結果、討論、引用），並調用自動化審稿程序（另一個AI模型）進行評分。
AI內容檢測技術：部分工具透過分析語言模式、流暢度、語氣穩定性來判斷內容是否由AI生成。Google DeepMind正在研究在AI生成文字和圖片中嵌入不可見的浮水印以幫助識別來源。

學術誠信將日益依賴人機協作的驗證系統。

AI生成內容的複雜性與AI檢測工具的局限性，使得單純的人工審查或AI檢測都難以完全保障學術誠信，必須結合兩者優勢。

學術出版模式將朝向更透明的AI使用揭露方向發展。

主要學術機構和期刊對AI生成內容的倫理擔憂，正推動強制性要求作者透明揭露AI在論文撰寫或研究中的輔助情況。

學術界對「作者身份」的定義將持續演進，明確將AI排除在外。

由於AI無法承擔研究的責任和問責，國際學術組織和期刊已形成共識，不允許AI被列為論文作者。

1665-03

《哲學彙刊》創刊，成為最早實施正式同行評審程序的科學出版物之一。

1731-01

愛丁堡皇家學會被認為是最早對稿件進行同行評審的學術機構之一。

1970-01

「同行評審」（peer review）一詞開始被廣泛採用。

1973-01

《自然》雜誌全面採用外部同行評審作為標準實踐。

2022-11

ChatGPT公開發布，導致AI生成內容激增，對學術出版構成新挑戰。

2025-04

日本Sakana AI的「AI科學家」系統展示了生成能通過國際學術會議同行評審的論文的能力。

AI 時代下學術同行評審制度的失靈