ATANT：AI 連續性評估框架
ATANT 是一個開放框架，用於評估 AI 連續性，透過 7 項屬性定義，並採用無 LLM 的 10 檢查點方法。它包含 250 個故事語料庫，橫跨 6 個生活領域的 1,835 個驗證問題。評估在 250 故事累積模式下達到 100% 準確率，可於 GitHub 下載。
Search
Tag: #evaluation-framework17 results
DEAF：音頻語言模型聲學忠實度診斷基準
DEAF 引入超過 2,700 個衝突刺激，涵蓋情感韻律、背景聲音和說話者身份，以測試音頻 MLLM 的聲學處理。多層級評估框架區分文字偏差與提示影響。七個模型顯示文字主導，儘管對聲學敏感，揭示真實音頻理解的差距。
Unlearning 幻象：LLM 解除學習的動態評估框架
研究人員提出 Unlearning Mirage 框架，使用動態複雜結構化查詢（如多跳鏈）來壓力測試 LLM 解除學習的穩健性。它從解除學習前的知識生成針對性探針，揭露靜態基準遺漏的漏洞。此框架以 pip 套件形式開源，提供可擴展評估。
AI代理可靠性科學
AI代理在基準測試上表現出色，但在實務中因單一成功指標忽略一致性、穩健性、可預測性和安全性而失敗。本 arXiv 論文提出 12 項具體指標，沿著這四個維度分解可靠性，基於安全關鍵工程。在兩個基準上測試 14 個代理模型，顯示儘管能力進步，可靠性僅有邊際改善。
評估用於現實世界部署的通用機器人策略
NVIDIA 探討了隨著機器人基礎模型能力增強，如何進行嚴格評估所面臨的挑戰。本文介紹了新的評估方法，旨在解決測試這些能根據自然語言指令執行複雜操作任務的系統時所遇到的困難。
ChromaFlow：關於代理編排開銷的負面消融研究
本研究介紹了用於評估自主代理的框架 ChromaFlow，並揭示了增加編排複雜度往往會導致運作雜訊增加，卻無法提升效能。研究強調，對於可靠的代理評估而言，更簡單且具確定性的方法可能更為有效。
ZOZO 推出獨家 AI 活用指標「AZARS」
ZOZO 推出自有 AI 活用指標「All ZOZO AI Readiness Score」（AZARS）。此指標不分員工是否為工程師，皆以同一標準評估 AI 準備度。它標準化了公司內的全員 AI 能力評估。