🦙Reddit r/LocalLLaMA•較早收集於 16h
mlx-lm 即將支援 Qwen 3.5 的 MTP
💡mlx-lm PR 讓 M4 Pro 上 Qwen 3.5 推理快 1.5 倍，透過 MTP (24字)
⚡ 30-Second TL;DR
有什麼變化
吞吐量增 1.5 倍：15.3 至 23.3 tok/s
為什麼重要
提升 Apple 硬體上 Qwen 模型的生成速度，更適合本地部署。PR 整合可讓 mlx 生態標準化 MTP。
下一步行動
檢視並在 Apple Silicon 上測試 mlx-lm PR #990 的 Qwen 3.5 MTP。
誰應關注：Developers & AI Engineers
關鍵要點
- •吞吐量增 1.5 倍：15.3 至 23.3 tok/s
- •令牌接受率 80.6%
- •M4 Pro 上 Qwen3.5-27B 4-bit
- •AirRunner 的 PR #990，早期支援上線
- •針對 Apple Silicon 本地推理
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •MTP（多令牌預測）架構透過在主模型頭部之外增加額外的預測頭，允許模型在單次推理步驟中並行生成多個令牌，從而有效降低記憶體頻寬瓶頸對推理速度的限制。
- •此項實作利用了 Apple Silicon 的統一記憶體架構，透過在 MLX 框架內優化計算圖，使得原本受限於記憶體頻寬的 27B 參數模型在 M4 Pro 晶片上實現了接近線性擴展的效能提升。
- •Qwen 3.5 系列引入的 MTP 機制不僅提升了吞吐量，還透過驗證機制（Verification Step）確保了生成品質與標準自回歸生成保持一致，解決了傳統推測解碼（Speculative Decoding）中草稿模型不匹配的問題。
🛠️ 技術深入
• MTP 架構：在 Transformer 解碼器層之上附加多個預測頭（Prediction Heads），每個頭負責預測後續的一個令牌。 • 訓練策略：Qwen 3.5 採用聯合訓練（Joint Training），主模型與 MTP 頭同時進行訓練，確保預測頭對主模型的隱藏狀態有高度的語義理解。 • 推理流程：在 MLX 實作中，透過將多個預測頭的輸出並行化處理，減少了對 KV Cache 的重複讀取次數。 • 接受率機制：80.6% 的接受率意味著在大多數情況下，模型能透過單次前向傳播正確預測後續多個令牌，顯著減少了總體的推理迭代次數。
🔮 前景展望AI analysis grounded in cited sources
MLX 將成為 Apple Silicon 上部署超大規模模型（>20B）的標準框架。
MTP 技術的成功整合證明了 MLX 在處理高參數模型時，能有效克服硬體頻寬限制，提供接近雲端推理的效能。
未來 Qwen 系列將全面標配 MTP 架構以提升端側推理體驗。
鑑於 1.5 倍的吞吐量提升，MTP 已被證明是解決端側裝置算力與模型規模矛盾的關鍵技術路徑。
⏳ 時間線
2023-12
Apple 發布 MLX 機器學習框架，專為 Apple Silicon 優化。
2025-09
Qwen 3.5 系列模型發布，正式引入多令牌預測（MTP）架構。
2026-03
AirRunner 提交 PR #990，將 MTP 支援整合至 mlx-lm 庫。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗