自然語言轉 SHACL 翻譯基準測試
NL2SHACL-Bench 提供專門基準，用於評估 LLM 將自然語言需求轉換為 SHACL shapes 的能力。對四個最先進 LLM 的測試顯示，它們擅長產生語法有效的 SHACL，但在複雜約束的語義等價性方面仍有明顯困難。
Search
Tag: #benchmarking171 results
Karpathy 力推《魔戒》大模型評測基準
Andrej Karpathy 正倡議將《魔戒》作為評估大型語言模型的新基準。這項提議可用於測試模型處理及推理長篇複雜敘事的能力。
Mach-1 Additive 宣稱以十分之一大小達到近 Qwen 效能
一名 Reddit 使用者詢問 Mach-1 Additive 是否能以約十分之一的規模，達到 Qwen 3.6 35B 95% 的效能。貼文將此結果描述為可能具重大意義的效率提升，但未提供基準測試方法或驗證資料。
禁用工具後，Opus 5 與 GPT-5.6 的差距浮現
一項禁用外部工具的測試比較 Opus 5 與 GPT-5.6，並認為兩者的能力差距因此更加清晰。文章也指出，更強的原生推理能力可能降低傳統提示詞工程的重要性。
診斷 AI Agent 失敗的新方法
這項研究提出以互動為核心的分類法，將 Agent 失敗定位到模型、Harness、使用者、工具、記憶體與環境之間的互動。其 41 種失敗模式可指出修復工作應歸屬於模型後訓練、Harness 工程、環境重新設計或基準測試修正。
LSR-Synth 測試 AI 是發現還是回憶方程式
本研究評估 LSR-Synth 能否區分真正的符號發現、方程式記憶與傳統運算子搜尋。研究發現，固定且不具語意的詞彙已能解決目前大多數任務；只有在刻意移除部分詞彙覆蓋範圍時，語言模型生成的候選項才會帶來顯著價值。
🔬
DeepMind/Kaggle AGI 基準測試獲獎作品引發爭議
一名 Reddit 用戶指控一份品質低劣且內容荒謬的參賽作品，贏得了 DeepMind 與 Kaggle 舉辦的「邁向 AGI 之進展」挑戰賽 2.5 萬美元獎金。該評論對評審過程以及獲獎研究方法的有效性提出了質疑。
透過判斷預測任務進行 AI 基準測試
本文探討使用「判斷預測任務」（即 AI 預測特定專家對主觀問題的回答）作為基準測試概念推理能力的方法。文中強調了在主觀領域中，相較於客觀基準數據集，判斷預測面臨著雜訊與意見分歧的挑戰。
Apple 推出 VICIS 以提升視覺概念推理能力
Apple 研究人員推出了 Visual Concept Inference from Sets (VICIS)，這是一項旨在評估視覺語言模型從少量圖像集中推斷共享概念能力的新任務。研究顯示，目前的頂尖模型在將這些視覺概念應用於新的、未見過的輸入時表現不佳。
推出 Real World VoiceEQ：衡量語音 AI 的人類感知品質
Hugging Face 推出了 Real World VoiceEQ，這是一個旨在評估語音 AI 系統人類感知品質的新框架。它旨在為語音模型在現實場景中的自然度與品質提供更準確的基準測試。