🦙Reddit r/LocalLLaMA•較早收集於 87m
Qwen3.5/3.6 在 RTX 3090 Ti 上運行 MTP 推測解碼
💡3090 Ti 上 Qwen 解碼快 2.9 倍經 MTP—本地 LLM 開發者必備 (32字元)
⚡ 30-Second TL;DR
有什麼變化
NextN MTP 在 Qwen3.5/3.6 上比原生快 ~2.9 倍
為什麼重要
讓消費級 GPU 上重型 MoE 模型實現高速本地推論，縮小個人從業者與資料中心速度差距。
下一步行動
在 llama.cpp 中 cherry-pick PR #22400/#22673，並將 Qwen3.6-27B-MTP 量化為 IQ4_XS-Q8nextn。
誰應關注：Developers & AI Engineers
關鍵要點
- •NextN MTP 在 Qwen3.5/3.6 上比原生快 ~2.9 倍
- •需 PR #22400（部分 seq_rm）和 #22673（MTP 支援）
- •35B-A3B MoE 達 150 tok/s；使用 Q8nextn GGUF 變體
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •MTP（Multi-Token Prediction）推測解碼技術透過在單次前向傳遞中預測多個後續 Token，有效緩解了傳統自回歸模型在 GPU 記憶體頻寬受限時的推理瓶頸。
- •llama.cpp 的 NextN 實作利用了專門的投機頭（Speculative Heads）架構，這要求模型在訓練時必須具備額外的預測分支，而非僅僅是標準的 Transformer 解碼器。
- •在 RTX 3090 Ti 等消費級硬體上，此技術的效能增益高度依賴於 KV 快取（KV Cache）的記憶體管理效率，PR #22400 引入的序列移除優化對於維持高吞吐量至關重要。
🛠️ 技術深入
- •MTP 架構：模型包含主解碼器與多個並行預測頭，允許在單次推理步驟中輸出 N 個 Token，顯著降低了對記憶體頻寬的依賴。
- •NextN 實作：透過 llama.cpp 的自定義算子，將投機預測與驗證過程整合在單一執行緒中，減少了 CPU 與 GPU 之間的同步開銷。
- •量化影響：使用 Q8nextn GGUF 格式，在保持模型權重精度的同時，優化了投機頭的權重存取模式，確保在 24GB VRAM 限制下仍能容納較大的 MoE 模型。
🔮 前景展望AI analysis grounded in cited sources
MTP 技術將成為消費級硬體運行超大型 MoE 模型的標準配置。
隨著模型參數規模持續擴大，推測解碼是目前唯一能在不犧牲精度的前提下，顯著提升消費級 GPU 推理速度的技術路徑。
未來 llama.cpp 將原生整合多頭投機解碼，無需手動 cherry-pick PR。
社群對於高效能推理的需求正推動這些實驗性功能快速進入主分支，以降低終端使用者的部署門檻。
⏳ 時間線
2025-09
Qwen 系列模型開始引入多 Token 預測（MTP）訓練架構。
2026-02
llama.cpp 啟動針對 MTP 推理優化的實驗性 PR 開發。
2026-04
社群驗證 Qwen3.5/3.6 在 NextN 框架下的效能突破。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗