🕷️
SetupAI
📄較早收集於 23h

MA-ProofBench：評估 LLM 在高等數學分析中的表現

MA-ProofBench：評估 LLM 在高等數學分析中的表現
PostLinkedIn
📄閱讀原文： ArXiv AI
#mathematics#formal-verification#benchmarking#llm-reasoningma-proofbenchmathlibgpt-5.5

💡目前的 LLM 在高等數學上表現不佳；透過此基準測試了解為何頂尖模型在形式化定理證明上仍會失敗。

⚡ 30-Second TL;DR

有什麼變化

包含涵蓋測度論、複分析與泛函分析等 6 個核心主題的 200 個形式化定理。

為什麼重要

此基準測試凸顯了 LLM 在高等數學推理方面的當前局限，暗示單純擴展模型規模可能無法解決形式化驗證的挑戰。它為研究人員提供了一個嚴謹的標準，以追蹤可靠的證明導向 AI 系統的進展。

下一步行動

如果您正在開發數學導向的 AI 代理，請整合 Lean 或 Isabelle 等形式化驗證工具，以交叉檢查 LLM 生成的證明。

誰應關注：Researchers & Academics

關鍵要點

  • •包含涵蓋測度論、複分析與泛函分析等 6 個核心主題的 200 個形式化定理。
  • •分為大學程度（Level I）與博士資格考程度（Level II）兩種難度。
  • •指出 Mathlib 幻覺與證明不完整是 LLM 的主要失敗模式。
  • •揭示了非正式自然語言推理與形式化驗證之間存在顯著的效能差距。

🧠 深度解析

Web-grounded analysis with 25 cited sources.

🔑 增強重點摘要

  • •MA-ProofBench 是首個專門針對數學分析領域的形式化定理證明基準測試，填補了現有基準測試主要集中在代數和初等數論等較易形式化領域的空白。
  • •該基準測試的問題來源於廣泛使用的大學分析教科書和博士資格考試，涵蓋了測度與積分理論、複分析和泛函分析等27個細分子領域。
  • •MA-ProofBench 的問題是透過「人類主導、LLM輔助」的形式化流程構建的，並經過獨立專家審查，以確保形式化陳述忠實於原始數學內容。
  • •在MA-ProofBench上的評估顯示，即使是表現最佳的模型GPT-5.5，在大學程度（Level I）問題上的Pass@8準確率也僅為16%，在博士資格考程度（Level II）上更是低至5%，這凸顯了當前大型語言模型在高等形式化數學推理方面的嚴重局限性。
📊 競品分析▸ Show
基準測試名稱專注領域/數學主題證明輔助器規模 (問題/定理數量)難度級別關鍵評估指標獨特功能
MA-ProofBench數學分析 (測度論、複分析、泛函分析等)Lean 4200 個定理 (6個核心主題, 27個子類別)大學程度 (Level I), 博士資格考程度 (Level II)Pass@k (例如 Pass@8)首個專注於高等數學分析的形式化基準測試；人類主導、LLM輔助的形式化流程。
LeanDojo Benchmark 4Lean 中的自動定理證明與自動形式化Lean 4122,517 個定理/證明 (來自 Mathlib4)廣泛，包含分佈外推理挑戰成功率、證明檢查測試 LLM 處理分佈外推理的能力；利用新穎的前提分割和策劃的 Lean4 任務。
miniF2F競賽數學 (AMC, AIME, IMO) 及大學數學Lean, Isabelle/HOL, Metamath, HOL Light, Dafny488 個跨系統問題高中至大學程度Pass@k跨系統基準測試，問題來源於數學競賽；miniF2F-Dafny 版本側重自動-主動驗證。
FIMO Math Benchmarks國際數學奧林匹亞 (IMO) 短名單中的代數和數論Lean149 個形式化問題IMO 級別Pass@k專注於 IMO 級別的深度創造性代數和數論問題。
FormalMATH多領域 (代數、應用數學、微積分、數論、離散數學)Lean 45,560 個形式化問題高中奧林匹亞至大學程度成功率 (例如 Pass@32)大規模 Lean4 基準測試；採用「人類參與的自動形式化」管道。
TheoremBench經典定理，超越競賽設定Lean 4近百個經典定理廣泛定理級別覆蓋率、Token效率包含「帶前提」版本，可評估定理內部證明結構的進度。
FormalProofBench高級大學和研究生級別數學 (分析、代數、機率、邏輯)Lean 4未公開數量 (每個任務包含自然語言問題和 Lean 4 形式化陳述)高級大學和研究生級別準確率 (例如 33.5% for best model)專注於研究生級別的正式驗證證明生成；提供工具使用、失敗模式、成本和延遲的實證分析。
IMProofBench研究級別數學證明不適用 (代理框架，可使用網絡搜索和數學軟件)39 個同行評審問題研究級別完整解決方案百分比、最終答案準確率模擬真實研究環境，模型可使用網絡搜索和數學軟件等工具。
IMO-ProofBench國際數學奧林匹亞 (IMO) 級別證明不適用 (自動評分指南)包含基礎和高級 IMO 級別問題IMO 級別自動評分與人類專家評估的高度相關性旨在評估證明寫作能力，並提供詳細的自動評分指南。

🛠️ 技術深入

  • MA-ProofBench 中的所有問題均使用 Lean 4 證明輔助器進行形式化。
  • 基準測試涵蓋了數學分析的6個核心主題和27個細分子類別，包括實函數、複變函數、泛函分析、測度與積分、數列與級數以及算子理論。
  • 問題的構建採用了「人類主導、LLM輔助」的形式化管道，隨後由獨立專家進行審查，以確保形式化陳述的準確性和忠實性。
  • 評估指標採用 Pass@k，例如，報告了頂尖模型在Level I上的Pass@8為16%，在Level II上為5%。
  • 該基準測試旨在解決現有形式化基準測試在數學分析領域覆蓋不足的問題，這些基準測試通常集中在代數和初等數論等較易形式化的領域。

🔮 前景展望AI analysis grounded in cited sources

LLM開發將更側重於形式化推理能力而非僅限於自然語言理解。
MA-ProofBench揭示了LLM在高等數學形式化證明中的顯著不足，這將促使研究者開發能更精確處理邏輯結構和形式系統的模型。
AI輔助數學研究工具的發展將加速。
隨著MA-ProofBench等基準測試的出現，將有更多資源投入到改進LLM在形式化證明中的表現，最終可能產生更可靠的AI數學助手。
形式化驗證在AI系統中的重要性將日益增加。
基準測試中發現的「Mathlib幻覺」和證明不完整問題，強調了對AI生成內容進行嚴格形式化驗證的必要性，尤其是在高風險應用中。

⏳ 時間線

2013
Lean 定理證明器由 Leonardo de Moura 在微軟研究院啟動開發。
2017-01
Lean 3 正式發布，成為第一個相對穩定的版本。
2017-07
Mathlib 的核心庫從 Lean 系統儲存庫中分離出來，成為 Mathlib 的基礎。
2020-01
Mathlib 論文在 CPP '20 會議上發表，描述其為 Lean 證明輔助器的社群驅動數學庫。
2021
Lean 4 發布，這是 Lean 定理證明器的重新實作版本。
2026-06
MA-ProofBench 論文提交至 arXiv。
📄閱讀原文： ArXiv AI
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #mathematics

同產品

更多關於 ma-proofbench

同來源

最新來自 ArXiv AI

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗