視覺語言模型預測題目難度

🔑 增強重點摘要

• •研究使用 Pydantic 模型結構化 GPT-4.1-nano 的 JSON 輸出，以確保從 LLM 回應中可靠提取難度預測資料[1]。
• •視覺僅模型傾向預測較高易度分數（峰值約 0.85-0.9），而文字僅模型分佈更分散（簇集於 0.25），多模態模型分佈更平衡[1]。
• •GPT-4.1-nano 於 MMMU 多模態基準達 55.4%，MathVista 視覺數學推理達 56.2%，展現強大圖像理解能力[2][4]。
• •未來模型可加入預測不確定性測量，提升自動心理測量應用的實用性[1]。

🛠️ 技術深入

• •GPT-4.1-nano 具 100 萬 token 上下文視窗，支持文字與圖像輸入、文字輸出，專為低延遲任務如分類設計[2][4][5]。
• •透過 OpenAI API 存取，使用三種方法：文字僅、視覺僅、多模態，搭配 Pydantic 模型解析結構化 JSON 輸出[1]。
• •於圖像基準表現優異，如 Video-MME 長影片理解達 72.0%，優於 GPT-4o 的 65.3%[4]。
• •基準成績：MMLU 80.1%、GPQA 50.3%、AIME2024 29.4%、IFEval 74.5%[2][4]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線