🧧Qwen (GitHub Releases: qwen-code)•最新收集於 14m
Qwen Code 發布隔離式 SWE-bench 驗證結果
💡Qwen coding agent 驗證未產生可評分案例，有助於發現評估流程故障。
⚡ 30-Second TL;DR
有什麼變化
此次驗證針對 swe-bench/swe-bench-verified@2 資料集。
為什麼重要
此次發布無法證明 coding agent 的基準測試效能，因為唯一的驗證案例不可評分。它更適合作為基礎設施與評估流程訊號，而非模型品質結果。
下一步行動
在使用 Qwen Code v0.21.2 進行 SWE-bench 評估前，請重新執行 SWE-bench Verified workflow，並確認基礎設施故障不會導致案例軌跡無效。
誰應關注：Developers & AI Engineers
關鍵要點
- •此次驗證針對 swe-bench/swe-bench-verified@2 資料集。
- •執行結果為 0 個已解決案例、0 個未解決案例，以及 1 個基礎設施故障。
- •測試使用 Qwen Code v0.21.2 與 qwen3.7-plus，並透過 dispatch workflow #9120 執行。
- •由於沒有有效評分器結果且沒有案例軌跡，因此未公布分數。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •SWE-bench Verified 是一個專為評估大型語言模型在真實軟體工程任務中解決 GitHub Issue 能力而設計的基準測試，強調評估過程的隔離性與可重現性。
- •Qwen 系列模型在程式碼生成與軟體工程任務上的表現，通常依賴於大規模的程式碼語料庫預訓練與針對性的指令微調（Instruction Fine-tuning）。
- •基礎設施故障（Infrastructure Failure）在自動化評測中常見，通常源於 Docker 容器環境配置問題、網路存取限制或測試腳本與執行環境的相容性衝突。
- •Qwen Code v0.21.2 的發布標誌著阿里雲通義千問團隊持續優化其模型在複雜軟體開發工作流中的自動化代理（Agent）能力。
- •此次驗證失敗反映了在進行大規模端到端（End-to-End）軟體工程評測時，環境穩定性與測試框架的健壯性對於取得有效基準分數至關重要。
📊 競品分析▸ Show
| 特性/模型 | Qwen Code (qwen3.7-plus) | Claude 3.5 Sonnet | GPT-4o | DeepSeek-V3 |
|---|---|---|---|---|
| SWE-bench 表現 | 待驗證 (本次失敗) | 業界領先 | 高性能 | 強勁競爭者 |
| 專注領域 | 程式碼生成與工程代理 | 複雜推理與程式碼 | 通用多模態與程式碼 | 高效能程式碼生成 |
| 授權模式 | 開源/開放權重 | 閉源 API | 閉源 API | 開源/開放權重 |
🛠️ 技術深入
- qwen3.7-plus 採用了混合專家模型（MoE）或增強型稠密架構，針對長上下文（Long Context）處理與程式碼邏輯推理進行了深度優化。
- 隔離式驗證環境通常基於 Docker 容器，透過掛載特定的 GitHub 儲存庫快照，並在受限的沙盒環境中執行測試套件（如 pytest）。
- 該驗證流程涉及 Agent 框架，需具備自主執行 Shell 指令、讀取檔案、編輯程式碼及執行單元測試的閉環能力。
🔮 前景展望AI analysis grounded in cited sources
Qwen 團隊將在後續版本中改進測試環境的容錯機制。
此次基礎設施故障顯示現有測試管線在處理複雜環境依賴時存在脆弱性，必須進行技術升級以確保評測的可持續性。
SWE-bench 基準測試將成為評估 Qwen Code 模型工程化能力的標準指標。
隨著模型在程式碼生成領域的競爭加劇，公開且標準化的基準測試分數對於證明模型在實際開發場景中的實用性至關重要。
⏳ 時間線
2024-04
阿里雲發布 Qwen1.5 系列，開始強化程式碼生成能力。
2024-09
Qwen2.5-Coder 發布，顯著提升了模型在程式碼編寫與軟體工程任務上的基準測試表現。
2026-05
Qwen3.x 系列模型架構初步對外披露，強調推理與長文本處理能力。
2026-08
Qwen Code v0.21.2 發布，並嘗試進行 SWE-bench Verified 驗證。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Qwen (GitHub Releases: qwen-code) ↗