⚡雷峰网•最新收集於 5h
Cursor 以 MoK 重寫 MoE GPU 執行方式
#mixture-of-experts#gpu-kernels#nvlink#distributed-trainingmixture-of-kittens-(mok)cursormixture-of-kittensnvidiadeepepblackwell
💡了解 Cursor 如何整合 Dispatch、通訊與計算，將 MoE 訊號延遲降低 82%。
⚡ 30-Second TL;DR
有什麼變化
MoK 將 token 排程、GPU 間通訊與專家計算整合至單一 GPU kernel。
為什麼重要
MoK 顯示，大規模 MoE 的效能瓶頸正逐漸從 GPU 原始算力或鏈路頻寬，轉向軟體編排效率。若這類方法能廣泛採用，客製化應用層 kernel 可能成為 AI 基礎設施團隊提升分散式專家執行資源利用率的重要手段。
下一步行動
在你的分散式 MoE 模型上比較 MoK 與 DeepEP，先測量端到端 step time、訊號延遲、NVLink 使用率及專家負載不均衡程度，再評估是否投入正式環境。
誰應關注：Developers & AI Engineers
關鍵要點
- •MoK 將 token 排程、GPU 間通訊與專家計算整合至單一 GPU kernel。
- •其前向 Pull-based Dispatch 讓目標 GPU 主動讀取 token，降低協調與訊號傳遞開銷。
- •Cursor 在多節點基準測試中測得訊號延遲從約 103μs 降至 18μs。
- •在一項微基準中，Pull 傳輸的資料量高於 Push，但在專家負載不均衡時，NVLink 使用率最高提升 29%。
- •這項設計針對 Tensor Core 加速後仍存在的通訊、同步、資料布局與負載平衡開銷。
🧠 深度解析
背景與延伸：來自公開資料，非原文內容。引用 12 個來源。
🔑 增強重點摘要
- •MoK 採用確定性執行架構，確保浮點運算順序固定，為強化學習（RL）後訓練階段提供高度的可重現性。
- •該技術專為 NVIDIA Blackwell（GB200/GB300）架構設計，要求 CUDA 13.0 與 PyTorch 2.10 以上版本環境。
- •MoK 透過環形 Token 緩衝區（Ring Token Buffer）管理數據，徹底移除 MoE 階段的 CPU 參與，解決了 NVL72 系統中常見的 CPU 閒置等待問題。
- •在 512 個 GPU 的生產環境中，MoK 成功將端到端訓練吞吐量提升了 41%。
- •Cursor 透過多代理系統（Multi-agent systems）自動化執行底層 Kernel 工程，將原本需數月的人工開發週期大幅縮短。
📊 競品分析▸ Show
| 特性 | MoK (Cursor) | 傳統 MoE 實作 (如 DeepSpeed/Megatron-LM) |
|---|---|---|
| 核心架構 | 融合式 Megakernel | 分離式 Kernel (通訊與計算分開) |
| 同步機制 | 消除 CPU 參與 (Persistent Kernel) | 依賴 CPU 進行同步與排程 |
| 確定性 | 是 (完全確定性) | 否 (通常受非同步排程影響) |
| 硬體優化 | 專注於 Blackwell NVL72 | 通用型，針對多種架構優化 |
🛠️ 技術深入
- 融合式 Megakernel：將通訊與計算操作合併為單一持久化 Kernel，消除 CPU-GPU 之間的同步開銷。
- 確定性執行：固定浮點運算順序，確保訓練過程的可重現性。
- 環形 Token 緩衝區：透過記憶體管理機制，在 MoE 處理期間完全繞過 CPU，避免系統瓶頸。
- 效能數據：MXFP8 前向傳遞速度提升 2.37 倍，BF16 前向傳遞提升 1.92 倍。
- 授權協議：採用 Apache-2.0 開源授權。
🔮 前景展望AI analysis grounded in cited sources
MoE 模型訓練成本將顯著下降
透過提升 41% 的端到端吞吐量，企業在相同硬體規模下可縮短訓練時間並降低能源消耗。
AI 基礎設施將轉向『代理驅動』的 Kernel 開發
Cursor 證明了利用 AI 代理進行底層 Kernel 優化可取代傳統高門檻的人工工程，將加速硬體特定優化的普及。
⏳ 時間線
2026-08
Cursor 正式開源 Mixture-of-Kittens (MoK) 專案
📎 來源 (12)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 雷峰网 ↗
每週 AI 簡報
每週一封，可隨時退訂。