Qwen Code 推出 SWE 與 Terminal-Bench 冒煙測試
Qwen Code 發布涵蓋 SWE 與 Terminal-Bench 工作流程的單案例端到端冒煙測試。此更新修正了 Terminal-Bench verifier proxy 前置內容的跳脫問題，並確保只有在 SWE 成功發布後才執行 Terminal-Bench。
Search
Tag: #benchmarking171 results
Qwen Code 煙霧測試結束，未發布基準分數
Qwen Code v0.21.12 使用 qwen3.7-plus 模型，對 SWE-bench Verified 與 Terminal-Bench 2.0 執行發布事件煙霧測試。兩項工作流程均標示為成功，但各自記錄一次基礎設施故障、未產生案例軌跡，也未發布任何分數。
GLM-5.3：同一模型，兩種 AI 性格
實測顯示，GLM-5.3 在測試中可能表現得像兩個不同的 AI 系統。它在不同能力面向上的表現並不均衡，但在安全性項目取得高分。
貢獻者質疑後，Ponytail 修正基準測試結果
代理技能 Ponytail 在貢獻者質疑原始評估後，修正了其基準測試結果。這起事件凸顯代理工具進行透明且可重現基準測試的重要性。
為什麼基準測試忽略了真正的 AI 成本
Qwen 3.8-Max 的基準測試結果會因時間、Token 與推理強度上限不同而大幅變化。文章主張，實務團隊應以每個成功任務的成本評估模型，而非只看每 Token 價格或基準分數。
⚙️
分析 vLLM 基準測試差異：雲端與本地部署
社群討論關於託管雲端推論平台（如 Together AI）與自架 vLLM 實例之間的潛在效能差異。討論重點在於不同基礎設施配置下，貪婪解碼（greedy decoding）的結果是否保持一致。
比較 Meta AI 與 ChatGPT 及 Nano Banana 2 的效能
針對領先圖像生成模型的比較測試顯示，這些模型在提示詞遵循與創意輸出方面存在顯著差異。結果凸顯了不同架構在理解使用者意圖上的表現。
金融AI武道大賽開賽，挑戰複雜業務難題
金融AI武道大賽正式開賽，包含四道真實業務難題。出題人表示，尋找最優解極具挑戰性。
⚙️
評估用於 LLM 推論的雲端 GPU 供應商
一位機器學習工程師正在尋求社群建議，探討比較雲端 GPU 供應商以進行 LLM 推論的最佳指標與方法。討論重點在於如何平衡成本、吞吐量與可靠性。
📰
AI SDR 回覆品質基準測試
討論評估 AI 生成的外銷銷售電子郵件及後續郵件的挑戰。現有指標如回覆率、準確性和編輯時間無法完全捕捉真正品質。尋求穩健基準的想法，包括單一 vs. 複合指標，以及離線 vs. 即時數據。