Qwen Code 修正 SWE-bench 與 Terminal-Bench 冒煙測試

💡了解 Qwen Code 修正了哪些發布冒煙測試，再決定是否依賴其程式碼基準測試。

⚡ 30-Second TL;DR

有什麼變化

引用 Benchmark-Qwen-Ref v0.21.13

為什麼重要

此次更新提升了 Qwen Code 在程式碼代理工作流程中發布驗證的可靠度。其影響主要集中於營運與回歸測試，而非新增功能或基準測試突破。

下一步行動

使用 Benchmark-Qwen-Ref v0.21.13 執行 Qwen Code 發布冒煙測試套件，並驗證 SWE-bench Verified 與 Terminal-Bench 2.0 流程。

誰應關注：Developers & AI Engineers

AI-generated analysis for this event.

•Benchmark-Qwen-Ref v0.21.13 是一個專門用於驗證 Qwen 系列模型在軟體工程任務中表現的基準測試框架，旨在提升代碼生成與除錯的穩定性。
•SWE-bench Verified 是針對真實世界 GitHub 問題的基準測試，此次修正重點在於解決端到端（End-to-End）測試流程中的環境配置與執行一致性問題。
•Terminal-Bench 2.0 專注於評估模型在終端機環境下的操作能力，此次更新修復了在模擬 Shell 環境中執行指令時的冒煙測試失敗問題。
•此次更新反映了 Qwen 團隊在持續整合（CI/CD）流程中，針對自動化評測工具鏈進行的細節優化，以確保模型發布前的品質控管。
•透過修正這些冒煙測試，Qwen Code 旨在減少在處理複雜軟體開發任務時的幻覺與執行錯誤，進而提升其在 AI 軟體工程助手領域的競爭力。

📊 競品分析▸ Show

特性/模型	Qwen Code (Qwen-Ref)	Claude 3.5 Sonnet	GPT-4o (OpenAI)
SWE-bench 表現	高度優化 (專注開源)	業界領先基準	業界領先基準
終端機操作	強化 Terminal-Bench	具備 Computer Use 能力	具備 Code Interpreter
開源狀態	開源/權重開放	閉源	閉源
定價策略	免費/自託管	API 計費	API 計費

冒煙測試（Smoke Testing）機制：在 Benchmark-Qwen-Ref 中，透過自動化腳本驗證模型在 SWE-bench 環境下的 Agent 執行路徑，確保核心功能未受損。
端到端測試流程：整合了 Docker 容器化環境，模擬真實開發者的終端機操作，並透過 regex 匹配與狀態檢查來驗證模型輸出是否符合預期。
錯誤修正細節：針對 Terminal-Bench 2.0 的修正涉及了對 Shell 提示詞（Prompt）的解析優化，以及對非同步執行指令的超時處理機制調整。

Qwen Code 將進一步提升在自動化軟體開發 Agent 的市佔率。

透過持續優化 SWE-bench 等關鍵基準測試的穩定性，Qwen Code 能更精準地解決複雜的程式碼庫問題，吸引更多開發者採用。

Benchmark-Qwen-Ref 將成為開源 AI 評測的標準工具之一。

隨著 Qwen 團隊不斷公開其評測框架的更新與修正，該工具鏈的透明度與可靠性將促使更多研究者將其作為模型評估的參考基準。

2024-04

Qwen1.5-Code 系列模型發布，初步建立代碼能力基準。

2024-09

Qwen2.5-Coder 發布，顯著提升在 SWE-bench 等程式設計任務上的表現。

2025-03

Benchmark-Qwen-Ref 框架正式對外公開，強化評測流程自動化。

2026-08

發布 v0.21.13 版本，針對 SWE-bench 與 Terminal-Bench 進行冒煙測試修正。

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #benchmark-validation

同產品

更多關於 Qwen Chat

同來源

最新來自 Qwen (GitHub Releases: qwen-code)

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Qwen (GitHub Releases: qwen-code) ↗