VLMs 多選題長影片推理滿分但開放題失敗

🔑 增強重點摘要

• •研究指出 VLMs 在長影片任務中存在嚴重的「選擇偏差」（Selection Bias），模型傾向於根據選項中的關鍵詞進行匹配，而非真正理解影片內容。
• •現有長影片基準測試（如 Video-MME）過度依賴靜態幀抽樣，導致模型在處理動態時間序列推理時，往往忽略了影片的連續性與因果關係。
• •開放式問答的失敗揭示了當前模型缺乏「思維鏈」（Chain-of-Thought）在長時序影片中的應用能力，導致模型在缺乏提示引導時無法進行有效的邏輯歸納。

🛠️ 技術深入

• •模型架構多採用 Vision Encoder (如 CLIP-ViT) 結合 Temporal Pooling 或 Perceiver Resampler 來處理長影片序列。
• •在長影片推理中，模型通常將影片幀壓縮為固定數量的 Token，這種壓縮機制在處理長達數分鐘的影片時，會導致關鍵細節（如物體微小動作）的資訊丟失。
• •多選題的高準確率主要歸因於模型在訓練階段大量接觸了基於文字的選擇題資料，導致其在推理時優先執行機率最高的選項匹配，而非進行視覺特徵的深度解碼。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線