Meta ProgramBench 測試 AI 無網重建程式

💡新基準顯示頂尖 AI 是否能從記憶建 SQLite/FFmpeg（42字元）

⚡ 30-Second TL;DR

有什麼變化

Meta Superintelligence Lab 的 ProgramBench 基準測試

為什麼重要

此基準測試暴露 AI 長上下文推理與知識保留限制，可能推動編碼模型改進。或轉移焦點至 AI 代理更穩健的離線能力。

下一步行動

立即下載 ProgramBench 資料集並離線基準測試你的編碼 LLM。

誰應關注：Researchers & Academics

AI-generated analysis for this event.

•ProgramBench 採用了「沙盒執行環境」機制，要求模型在完全隔離的虛擬機中進行編譯與單元測試，以確保程式碼的真實可執行性而非僅僅是語法正確。
•該基準測試引入了動態評估指標，不僅檢查編譯成功率，還會針對 ffmpeg 等專案執行功能性測試案例，以驗證合成程式碼的邏輯正確性。
•Meta 在設計此基準時，特別針對了「長上下文依賴」問題，要求模型在缺乏外部套件庫（Library）輔助的情況下，必須具備極強的底層 API 呼叫與演算法實作能力。

📊 競品分析▸ Show

特性	ProgramBench (Meta)	HumanEval (OpenAI)	SWE-bench (Princeton/Verified)
核心目標	離線重建完整可執行程式	函數級程式碼補全	解決真實 GitHub Issue
執行環境	嚴格離線沙盒	隔離執行環境	容器化環境
複雜度	極高 (系統級)	低 (演算法級)	中高 (專案級)
評估重點	系統架構與編譯能力	邏輯與語法正確性	軟體工程與除錯能力

評估架構：採用基於 Docker 的隔離容器，禁止任何對外網路請求（Network-gapped），強制模型依賴預載的標準函式庫。
測試集組成：包含 C、C++、Rust 等多語言專案，針對每個專案定義了特定的編譯目標（Build Targets）與測試套件（Test Suites）。
驗證流程：
1. 模型生成原始碼。
2. 自動化編譯器（如 GCC/Clang/Cargo）進行建置。
3. 執行預設的單元測試與功能驗證。
4. 根據測試通過率（Pass Rate）與編譯成功率進行加權評分。