CRYSTAL基準揭露VLM推理缺失

🔑 增強重點摘要

• •CRYSTAL基準透過多代理框架生成參考推理步驟，聚合獨立MLLMs輸出並使用語義聚類確保多樣且高品質推理路徑。[1]
• •評估採用語義相似度匹配（Match F1）比較預測步驟與參考，涵蓋視覺感知、組合推理、空間關係、計數及邏輯推斷等類別。[1]
• •GPT-5-mini在F1分數領先（0.773）但準確率較低（55.59%），顯示小型模型在推理透明度上優於大型GPT-5。[1]

🛠️ 技術深入

• •CRYSTAL包含6,372個實例，每題配有自然語言參考推理步驟序列，透過多代理框架生成：獨立MLLMs輸出經語義聚類聚合。[1]
• •評估指標包括答案準確率及Match F1（語義相似度匹配），用於細粒度分析模型失敗位置。[1]
• •基準涵蓋視覺感知、組合推理、空間關係、計數、邏輯推斷，Table 1總結關鍵統計。[1]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線