基準測試抓到 LLM 違反物理定律

🔑 增強重點摘要

• •該基準測試框架被命名為『PhysBench-LLM』，其核心設計理念在於透過符號計算引擎（SymPy）強制執行物理一致性檢查，而非僅依賴文字相似度匹配。
• •研究發現模型在處理涉及單位轉換（如 SI 制與英制混用）的題目時，常出現『幻覺性單位』，即模型能給出正確數值但單位完全錯誤，這揭示了 LLM 對物理量綱缺乏內在理解。
• •該測試集特別納入了『反直覺物理場景』，旨在檢測模型是否僅僅是透過記憶常見物理教科書範例來作答，而非真正掌握了物理定律的推導邏輯。

🛠️ 技術深入

• •評分機制：利用 SymPy 進行代數化簡與單位一致性驗證，確保模型輸出的物理公式在數學上等價於標準答案。
• •題目生成：採用模板化生成技術（Template-based generation），透過隨機變數替換物理參數，確保測試集具備無限的題目變體，防止模型過擬合。
• •單位處理：整合 Pint 函式庫進行嚴格的量綱分析（Dimensional Analysis），任何不符合物理量綱的答案均被標記為錯誤，即使數值正確。
• •自動化流程：測試框架與 HuggingFace Datasets API 深度整合，支援自動化提交評測結果並即時更新排行榜。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線