SciVisAgentBench：科學資料分析與視覺化代理基準

#benchmark#llm-agents#evaluationscivisagentbenchscivisagentbencharxiv

💡SciVis 代理新基準揭露 LLM 差距 – 立即測試您的代理！(28字)

⚡ 30-Second TL;DR

有什麼變化

108 個專家設計案例，涵蓋多樣 SciVis 情境

為什麼重要

此基準標準化 SciVis 代理評估，支持可重現比較並推動多步驟科學工作流程進展。它突顯當前代理差距，引導 LLM 針對專門任務微調。

下一步行動

從 https://scivisagentbench.github.io/ 下載 SciVisAgentBench，並在 108 個案例上測試您的 LLM 代理。

誰應關注：Researchers & Academics

本篇為 AI 生成分析，非原文內容。

•SciVisAgentBench 解決了現有通用程式碼基準（如 HumanEval 或 MBPP）在科學視覺化領域缺乏針對性評估的問題，特別是針對 Matplotlib、Seaborn 等科學繪圖庫的特定語法與視覺準確性。
•該基準引入了『視覺回饋迴路』評估機制，不僅檢查程式碼是否能執行，還透過影像處理技術比對生成的圖表與基準圖表（Ground Truth）的結構相似度，以量化視覺化品質。
•研究發現現有頂尖 LLM 在處理複雜科學資料集時，常出現『幻覺式視覺化』，即程式碼雖能執行但無法正確映射科學數據的物理意義，SciVisAgentBench 透過專家標註的資料集有效揭露了此類缺陷。

•評估框架採用了三層驗證架構：(1) 語法與執行檢查器（Code Executor），確保程式碼無運行時錯誤；(2) 視覺相似度評估器（Visual Similarity Evaluator），利用結構相似性指數（SSIM）與感知哈希（pHash）比對輸出影像；(3) LLM 評判員（LLM-as-a-Judge），基於 GPT-4o 或 Claude 3.5 Sonnet 對視覺化結果的科學正確性進行定性評分。
•資料集建構採用了『專家導向的合成與真實數據混合』策略，涵蓋了從基礎統計圖表到複雜的科學模擬場景（如流體動力學、分子結構分析）。
•支援多種科學資料格式輸入，包括 CSV、NetCDF、HDF5 等常見科學數據格式，並要求代理模型具備處理多檔案關聯分析的能力。

科學視覺化代理將從單純的程式碼生成轉向具備自我修正能力的閉環系統。

SciVisAgentBench 揭示了當前模型缺乏視覺回饋，未來代理將整合視覺檢測模組以自動修正繪圖錯誤。

科學領域的基準測試將更依賴多模態評估而非單純的文字輸出比對。

該基準證明了僅靠程式碼正確性無法保證科學視覺化的準確性，多模態評估將成為科學 AI 的標準配置。

2025-11

SciVisAgentBench 專案啟動，開始收集科學視覺化專家案例。

2026-02

完成 108 個專家設計案例的標註與驗證，並建立初步評估框架。

2026-03

SciVisAgentBench 正式發布於 ArXiv 並開源相關評估工具。

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #benchmark

同產品

更多關於 scivisagentbench

同來源

最新來自 ArXiv AI

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。