🔬
驗證能否在 4B 模型取代規模優勢？
一名研究者預先註冊 23 項實驗，測試基於程式碼的驗證 harness 是否能提升 Qwen3-4B 模型的 grounded reasoning。該 harness 在分布內資料上有所改善，但嚴格條件下的增益未能通過鎖定的第三方 holdout，凸顯跨階段不一致與計算預算混淆等問題。
Search
Tag: #evaluation51 results
Outcome Monitors 揭露工具的無聲故障
Outcome Monitors 會偵測違反預期結果契約的工具輸出，在保留結果的同時發出復原提示。在評估中，它讓 ToolMaze 的完成率提升超過一倍，並使 tau-bench 零售任務完成率提高最多 14 個百分點。
無法重現的 AI 外掛讓 Token 成本翻倍
據稱，一款未具名工具能讓 DeepSeek V4-Pro 看似擊敗 Fable 5，但其他使用者無法重現這項結果。這項優勢可能伴隨 Token 消耗翻倍的代價。
🤖
定義品質：AI 產品經理的新核心技能
在 AI 時代，產品經理的核心價值在於定義嚴謹的測試集與評估標準，以應對 AI 輸出的機率性，而不僅僅是理解業務邏輯。
🤖
Fine-tune Gemma 處理複雜法律推理
一名實作者表示，使用 10 萬份法院判決微調 Gemma 4 26B A4B 後，在生成法律原則方面仍未超越透過提示使用的基礎模型。討論聚焦於瓶頸是否來自資料品質、評估設計、任務複雜度或微調流程。
🔬
在 Autoresearch 中嚴格分離評測與程式碼
一名 Reddit 研究者提出一套 skill 與 CLI 工作流程，嚴格將固定的評測程式碼與代理程式可最佳化的程式碼分離。此方法結合版本控制的約束條件、由代理維護的 HTML 日誌，以及長時間執行的 Claude Code 迴圈，以減少人工監控需求。
Alibaba Cloud 推出 Qwen AI Arena 測試 AI Agent
Alibaba Cloud 推出 Qwen AI Arena，這是一個用於真實商業情境中測試 AI agent 的挑戰與評估平台。平台為開發者提供任務、模型、執行環境與評估工具，首個挑戰聚焦跨境電子商務。
全新基準測試評估 AI 代理在長程終端任務的表現
Long-Horizon-Terminal-Bench 引入了一套新的 AI 代理評估框架，包含 46 項需要長期規劃與迭代除錯的複雜多步驟任務。該基準測試透過提供密集的中間獎勵，能比傳統僅評估最終結果的方法更精確地衡量代理在開放式工作流程中的進展。
AI 效能評估背後的華人專家
本文介紹了一位華人研究員在開發測試 AI 智慧的評估框架中所扮演的角色。強調了在當前 AI 發展環境中，嚴謹基準測試的重要性。
Hugging Face 推出 Open Agent Leaderboard
Hugging Face 推出了 Open Agent Leaderboard，旨在評估並排名自主 AI 代理。該平台致力於為代理工作流程提供透明度與標準化的基準測試。