KernelAgent 達成 KernelBench 100% 正確率

🔑 增強重點摘要

• •KernelAgent 由 METR 團隊開發，使用 o3-mini-high 等模型在 KernelBench 上實現 1.81x 加速，而最佳模型組合達 2.01x 加速[1]。
• •KernelBench 於 2025 年提出，包含 L1 單運算子、L2 運算子序列融合及 L3 端到端架構等 250 個任務，最初頂尖模型僅在不到 20% 任務中匹配 PyTorch 效能[5][6]。
• •評估指標為 fast_p，衡量生成核心同時正確且加速超過閾值 p 的任務比例，例如 fast_1 表示比 PyTorch 基準快 1x 以上[3][4]。
• •透過執行反饋及剖析工具迭代精煉可提升 LLM 生成核心效能，但 KernelBench 難度隨加速閾值提高而增加[5][6]。

🛠️ 技術深入

• •KernelBench 分三級：L1 單運算子（如 matmul、conv）、L2 運算子序列（測試核心融合）、L3 端到端架構（如 Vision Transformer 或 Mamba 區塊）[4]。
• •KernelAgent 引入代理架構（agent scaffolding）及提示調優（prompt tuning），相較原 KernelBench 單模型生成大幅提升加速[1]。
• •使用 best-of-k 策略，從多模型嘗試中選最佳改進程式碼，若皆劣於基準則保留基準，確保加速 >=1x[1]。
• •支援 Torch 編譯包裝器 best-of-k，變更編譯旗標比較標準 PyTorch 效能[1]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線