🤖Reddit r/MachineLearning•較早收集於 2h
LoCoMo 審計：6.4% 答案錯誤，評審接受 63% 故意錯答
💡LoCoMo 有缺陷：6.4% 答案錯誤，評審允 63% 錯答—立即重新思考記憶基準
⚡ 30-Second TL;DR
有什麼變化
答案金鑰 99 處錯誤：幻覺事實、時間推論、說話者歸屬
為什麼重要
揭露熱門長上下文記憶基準的缺陷，呼籲對排行榜比較謹慎，並推動更好替代方案。
下一步行動
下載 locomo-audit 儲存庫，並依文件修正驗證你的長記憶模型分數。
誰應關注：Researchers & Academics
關鍵要點
- •答案金鑰 99 處錯誤：幻覺事實、時間推論、說話者歸屬
- •gpt-4o-mini 評審接受 62.81% 主題相近但故意錯誤答案
- •無標準評估流程導致分數無法重現
- •完整審計儲存庫含錯誤文件與可重現腳本
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗