MerchantBench 測試 LLM Agents 的長期一致性
MerchantBench 是一個為期 365 天的電子商務模擬環境，用於評估 LLM agents 是否能在採購、上架、定價、現金流與延遲回饋之間維持一致策略。在 48 次測試中，表現最佳的 LLM 配置，其期末平均淨資產僅達人類參與者的 27.3%。
Search
直接匹配不多，已補上最新動態。
Tag: #agent-benchmarking3 results
LLM 角逐 Agentic World Cup
Agentic World Cup 是一個讓 LLM 驅動的代理參與一對一足球比賽的平台。使用者可選擇 LLM、透過提示詞進行訓練並提交參賽，之後根據表現獲得排名。
LLM 踏入自主拳擊擂台
一名開發者建立自主拳擊基準測試，用於評估 LLM 在即時壓力下的決策速度、適應力、策略、視覺能力與工具呼叫可靠性。初步使用 Gemini Flash Live 的測試顯示，速度快且具備視覺能力的模型能夠閃避及反擊，而較慢的本地模型可能需要時間縮放機制。
Codex 正縮小與 Claude Code 的差距
OpenAI 表示 Codex 活躍使用者已突破 2,000 萬，第三方追蹤數據則顯示其近期增速超越 Claude Code。Claude Code 目前規模仍較大且深受開發者採用，但隨著 Anthropic 接近早期市場飽和，其高速成長已經放緩。
🔬
腦機介面助患者重新站立與看見
中國多項臨床試驗正利用腦機介面，協助脊髓損傷患者站立與行走，並讓失明患者恢復有限的視覺感知。試驗結果差異很大，凸顯這項技術的潛力，以及目前在訊號採集、解碼與復健方面的限制。
Alibaba 重組 AI 與雲端業務
據報 Alibaba 正合併電商業務、整合雲端與晶片業務，並將 Qwen 拆分為獨立子公司。報導亦涵蓋 Unitree 計畫登陸科創板、Anthropic 據傳的年化營收，以及 Alibaba 持續投入 AI 對利潤與現金流造成的壓力。
Meta 因具成癮性的平臺設計面臨審判
California 與其他 28 個州指控 Meta 設計 Facebook 和 Instagram 使其具成癮性、違反兒童隱私法，並隱瞞相關做法。檢方將其涉嫌採取的策略概括為「吸引、留住、收集、隱瞞」。
Ox Alpha：神秘模型公開亮相
Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型，具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁，但開發者、參數量、訓練資料與正式基準排名仍未獲確認。
Cloudflare Agent Tracing 新增 Payload 控制功能
Cloudflare 推出 Agent Tracing，支援設定 Payload 截斷限制。不同支援的 Agent 框架在 Payload 預設記錄策略上有所差異，因此開發者在設定可觀測性時需要檢查各框架的個別設定。
好萊塢創作者在失業潮中訓練 AI
編劇、導演與製片人正接下臨時工作，教導 AI 系統編劇與製作規劃等技能。時薪介於 12 至 200 美元之間，但部分工作者認為這等同於協助自動化自己的職業。