電商模型面臨更嚴格的考驗
文章提出一套更嚴格的電商 AI 模型評測理念。方法是從真實使用者需求定義任務，並透過仿真環境中的狀態驗證結果，而不是接受「差不多」的表現。
Search
Tag: #benchmarking171 results
Qwen Code 完成完整端到端基準測試重跑
Qwen Code 發布 DSW EAS full E2E r3，重新執行完整的評測流程。流程涵蓋版本發布、DSW SWE-bench Verified（500 題）、Terminal-Bench 2.0（89 題），以及相同版本的發布作業。
LLM 遇上指令約束天花板
全新的 CSE 基準測試顯示，LLM 能合理處理個別指令，但在必須同時滿足多項約束時便會陷入困境。研究涵蓋 15 個模型與 369,753 次檢查，結果顯示同時處理約 5 至 6 項以上要求時，全部約束皆通過的成功率會迅速崩落。
SAPO 讓提示詞優化走向模組化
SAPO 是一種分段式自動提示詞優化方法，能分別改善提示詞中的角色、背景、任務與輸出格式。其在五項基準測試及 GPT-3.5-Turbo 與 GPT-4o-mini 上，平均表現優於 zero-shot prompting 與多種強大的 APO 基線方法。
頂尖 AI 論文多數難以重現
SAI Review 嘗試重現 ICML 2026 的 105 篇 Oral 論文，發現只有 8 篇重現了超過 80% 的可驗證主張。審查揭露程式碼無法執行、檔案缺失、結果不一致、模型下線，以及極高的重現成本等問題。
PPIO 發布 Fusion，價格僅頂級模型十分之一
PPIO 正式發布 Fusion 模型，宣稱其智慧能力可超越頂級模型，而價格僅為其十分之一。這項發布將 Fusion 定位為生產環境 AI 工作負載中更具成本效益的選擇。
DeepAmbigQA 測試 LLM 答案完整性
Apple Machine Learning 推出 DeepAmbigQA，用於評估具備搜尋功能的 LLM 是否能完整回答含歧義的多跳問題。其 DEEPAMBIGQAGEN 管線會自動產生需要釐清標題歧義、跨多個實體蒐集證據並整合結果的問題。
利用多模型同儕審查評估自主 AI 科學家系統
本研究提出了一套嚴謹的基準測試協議，利用多模型 LLM 同儕審查來評估自主 AI 研究系統。研究針對四種框架與商業基準進行評測，揭示了顯著的效能差距，並驗證了自動化評估的可靠性。
Kimi K3 在 ArtificialAnalysis 排名第三，超越 Claude Opus
Kimi K3 模型在 ArtificialAnalysis 排行榜上取得第三名的佳績。在這次基準測試評估中，它顯著超越了 Claude Opus 4.8 模型。
Moonshot AI 的 Kimi K3 在影片生成領域挑戰 Fable 5
Moonshot AI 的全新 Kimi K3 模型已出現在基準測試平台，展示了足以媲美 Fable 5 的影片生成能力。社群媒體上的早期測試顯示，該模型在動畫流暢度與視覺細節方面有顯著提升。