🦙較早收集於 6h

DFlash 讓 M5 Max 上 Qwen3.5-27B 速度加倍

DFlash 讓 M5 Max 上 Qwen3.5-27B 速度加倍
PostLinkedIn
🦙閱讀原文: Reddit r/LocalLLaMA
#apple-silicon#speculative-decoding#mlxomlxomlxdfashqwen3.5-27bm5-max

💡M5 Max 上 LLM 速度 2x:oMLX DFlash 支援 Qwen3.5-27B BF16 (24字)

⚡ 30-Second TL;DR

有什麼變化

oMLX 0.3.5 RC1 DFlash:Qwen3.5-27B BF16 9→22 t/s

為什麼重要

讓優質 27B 模型在 Apple 硬體上達互動速度,提升 Mac 使用者本地部署。

下一步行動

從 omlx.ai 下載 oMLX 0.3.5 RC1,並在 Mac 上測試 DFlash 搭配 Qwen3.5-27B。

誰應關注:Developers & AI Engineers

關鍵要點

  • oMLX 0.3.5 RC1 DFlash:Qwen3.5-27B BF16 9→22 t/s
  • 測試於 M5 Max 128GB Apple Silicon
  • 模型:MLX-Qwopus3.5-27B-v3-bf16 + Qwen3.5-27B-DFlash
  • GitHub:github.com/bstnxbt/dflash-mlx
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/LocalLLaMA

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。