VLMs 缺少的影片基準測試

🔑 增強重點摘要

• •V2P-Bench 引入視覺提示評估 VLMs 的影片理解，涵蓋 12 類別、20 種影片類型及 3 秒至 2 小時長度，強調空間時序細粒度理解。[2]
• •VideoReasonBench 測試視覺中心複雜影片推理，Gemini-2.5-Flash 在標準基準達 65% 準確率，但在此僅 27.4%，需大量思考 token 且高度依賴視覺內容。[3]
• •MotionBench 專注細粒度運動理解，包含六類運動導向問題，現有 VLMs 表現不佳，並提出 Through-Encoder 融合方法優化影片特徵壓縮。[5]

🛠️ 技術深入

• •V2P-Bench 評估時，對 LLaVA-OneVision 等模型平均 128 幀，對 o1 和 GPT-4o 平均 64 幀，Gemini-2.5-Pro 直接上傳原始影片無音軌，視覺提示置於影片後。[2]
• •VideoReasonBench 顯示推理難度分級 1-3 級，Gemini-2.5-Flash 平均消耗逾 7,000 token，表現與思考預算高度相關，且視覺輸入變化影響顯著。[3]
• •MotionBench 使用多樣真實世界影片來源，評估運動層級感知，並透過 TE Fusion 方法在有限 LLM 序列長度內提升細粒度運動理解。[5]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線