翁荔提出「自進化先從Harness開始」
Lily Weng 在最新部落格中提出，AI 的自進化應從 Harness 開始。DeepSeek 的崔添翼轉發並表示認同，認為該方向極易產出具體成果。
Search
Tag: #model-evaluation95 results
復旦大學期末考：學生以「擊敗 AI」作為考試目標
復旦大學學生參與了一場獨特的期末考試，任務是設計能讓 Claude、DeepSeek 和 MiniMax 等先進 AI 模型出錯的題目。這項實驗凸顯了教育重心從死記硬背轉向評估與挑戰 AI 系統能力的重要性。
Hugging Face 現在顯示完整的模型評估結果
Hugging Face 更新了模型頁面，現在可以顯示完整的評估結果。此項變更讓開發者能更輕鬆地直接在平台上比較各個模型的基準測試表現。
Papers with Code 新增 SOTA 徽章與外部評估功能
Papers with Code 平台新增了 SOTA 徽章、基於 Hugging Face 資源的全新趨勢指標，以及對第三方評估結果的支援。這些更新旨在提升研究的可發現性，並提供更全面的模型效能檢視。
如何為業務選擇最合適的 AI 模型
野村綜合研究所 (NRI) 的北村雄騎指出，選擇業務 AI 模型不應僅依賴基準測試 (Benchmark)。針對特定業務需求進行全面評估才是成功的關鍵。
用於判定 AGI 聲明的設計科學框架
該研究提出 DAF-AGI 框架，旨在解決 AGI 定義模糊與評估標準不一的問題。透過結構化的治理審計與五項序數標準，該框架能更客觀地驗證各類 AGI 性能聲明。
🔬
為何高重要性特徵反而會降低模型效能
資料科學團隊分享了關於一個基於貝葉斯目標編碼 (Bayesian target encoding) 的頂尖 LightGBM 特徵，如何因過度擬合不可約標籤變異而導致預測效能下降的發現。本文強調了梯度提升模型中目標編碼洩漏的風險。
大模型通過考試，卻離 AGI 越來越遠
最新研究指出，儘管大模型在標準化考試中表現優異，但這些基準測試可能無法準確反映 AGI 的真實進展。本文探討了當前評估方法的局限性。
大型語言模型在困難任務中表現出過度自信
一項新研究顯示，大型語言模型（LLM）普遍存在過度自信的問題，且在困難任務中尤為明顯，而在簡單任務中則表現出信心不足。研究人員推出了 LifeEval，旨在更精確地評估模型在不同難度下的校準能力。
用於評估不確定性增強 AI 系統的新型 $ECUAS_n$ 指標
$ECUAS_n$ 框架引入了一系列新型指標，旨在透過平衡預測準確度與不確定性估計來評估不確定性增強 (UA) 系統。它允許從業者根據特定用例需求，調整錯誤預測與不完美不確定性分數之間的權衡。