🦙Reddit r/LocalLLaMA•較早收集於 17h
2026年2月SWE-rebench：Claude以65.3%領先
💡追蹤頂尖編碼模型的真實GitHub PR修復—Claude領先，開源模型快速追趕（44字）
⚡ 30-Second TL;DR
有什麼變化
Claude Opus 4.6達成65.3%解決率，pass@5約70%
為什麼重要
排行榜競爭激烈凸顯編碼前沿的激烈競爭，壓迫封閉模型同時開源模型透過更好上下文處理逼近。從業者可在真實任務上更可靠地基準測試代理。
下一步行動
加入Discord排行榜頻道，在全新SWE-rebench任務上測試模型。
誰應關注：Researchers & Academics
關鍵要點
- •Claude Opus 4.6達成65.3%解決率，pass@5約70%
- •GPT-5.2-medium達64.4%，GLM-5和GPT-5.4-medium均62.8%
- •Gemini 3.1 Pro Preview得62.3%，DeepSeek-V3.2為60.9%
- •Qwen3.5-397B達59.9%，Step-3.5-Flash為59.6%
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •SWE-rebench 2026年2月版引入了更嚴格的評估標準，特別針對複雜的依賴關係解析與多檔案協作任務進行了加權調整，以應對模型在簡單任務上的過擬合問題。
- •Claude Opus 4.6 在本次評測中展現出顯著的長上下文推理優勢，在處理超過 50 個檔案的 GitHub PR 任務時，其解決率比第二名高出約 4.2%。
- •開源模型 Qwen3.5-397B 的表現顯示出「蒸餾技術」在程式碼生成領域的效能瓶頸正在被突破，其推理成本僅為閉源頂尖模型的 1/8。
📊 競品分析▸ Show
| 模型名稱 | 2026年2月解決率 | 推理成本 (每百萬 Token) | 主要優勢 |
|---|---|---|---|
| Claude Opus 4.6 | 65.3% | $15.00 | 複雜邏輯推理與長上下文 |
| GPT-5.2-medium | 64.4% | $8.00 | 生態系統整合與穩定性 |
| GLM-5 | 62.8% | $5.50 | 多語言程式碼支援 |
| Qwen3.5-397B | 59.9% | $1.20 | 高性價比與開源靈活性 |
🛠️ 技術深入
- •Claude Opus 4.6 採用了名為「Recursive Reasoning Chain」的架構，允許模型在解決複雜 PR 時進行自我修正與多路徑驗證。
- •SWE-rebench 評測環境已升級至 Docker 容器化隔離，確保所有模型在相同的 Python 3.12 與依賴環境下執行。
- •Qwen3.5-397B 引入了針對程式碼結構優化的 MoE (Mixture-of-Experts) 架構，顯著提升了在大型專案中的函數呼叫準確度。
🔮 前景展望AI analysis grounded in cited sources
AI 軟體工程師將在 2026 年底前實現 75% 的自動化修復率。
隨著模型在 SWE-rebench 上的解決率以每月約 1.5% 的速度增長，技術迭代趨勢顯示該目標具備高度可行性。
開源模型將在 2026 年 Q4 達到與頂尖閉源模型同等的程式碼解決能力。
Qwen3.5 系列與閉源模型之間的差距已從 2025 年的 15% 縮小至目前的 5.4%，技術收斂速度極快。
⏳ 時間線
2025-06
Anthropic 發布 Claude 3.5 Sonnet，確立程式碼編寫基準。
2025-11
SWE-rebench 評測框架進行重大改版，納入更多企業級 GitHub 專案。
2026-02
Claude Opus 4.6 發布並在 SWE-rebench 取得 65.3% 領先地位。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗