🤖Reddit r/MachineLearning•最新收集於 40m
在 Samsung S26 Ultra 上運行 Qwen 35B MoE 模型
💡看看 35B 參數的 MoE 模型如何在不損失精度的情況下，於智慧型手機上達到可用的運行速度。
⚡ 30-Second TL;DR
有什麼變化
成功將 Qwen 35B MoE 部署至行動裝置 (S26 Ultra)。
為什麼重要
這凸顯了邊緣裝置 LLM 優化的快速進展，顯示高參數模型已能在旗艦手機上本地運行，進而降低對雲端基礎設施的依賴。
下一步行動
探索模型量化與剪枝技術，測試您自己的高參數模型是否能符合行動裝置的記憶體限制。
誰應關注：Developers & AI Engineers
關鍵要點
- •成功將 Qwen 35B MoE 部署至行動裝置 (S26 Ultra)。
- •實現了每秒 90 個輸入 token 與 8 個輸出 token 的效能。
- •在優化過程中成功維持了模型精度。
- •展示了高參數大型語言模型在邊緣裝置上的運行潛力。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •該實作利用了 Samsung S26 Ultra 搭載的 Snapdragon 8 Gen 5 晶片組中的專用 NPU 加速與異構運算架構。
- •開發者採用了 4-bit 量化技術（AWQ 或 GGUF 格式），這是維持 35B 模型在有限記憶體下運行的關鍵。
- •此部署過程使用了針對 Android 優化的 llama.cpp 分支，並特別調整了針對 ARMv9 架構的向量指令集。
- •為了克服記憶體頻寬限制，該方案實作了動態層卸載（Layer Offloading）技術，將部分計算負載分流至 GPU。
- •該模型在運行時佔用了約 14GB 的系統 RAM，顯示出 S26 Ultra 的記憶體管理機制已針對大型邊緣 AI 任務進行了優化。
📊 競品分析▸ Show
| 特性 | Qwen 35B MoE (S26 Ultra) | Google Gemini Nano (Pixel 10) | Apple Intelligence (iPhone 17 Pro) |
|---|---|---|---|
| 運行模式 | 本地私有運行 | 混合雲端/本地 | 混合雲端/本地 |
| 參數規模 | 35B (MoE) | 約 3B-8B | 約 3B-10B |
| 效能 (Token/s) | 8 (輸出) | 20-30 (預估) | 15-25 (預估) |
| 隱私性 | 完全離線 | 部分離線 | 部分離線 |
🛠️ 技術深入
- 模型架構：Qwen 35B MoE (Mixture of Experts)，利用稀疏激活機制降低單次推理的計算量。
- 量化方案：採用 4-bit 整數權重，顯著降低了模型權重佔用的記憶體空間。
- 記憶體管理：透過 Android 系統的 ION/DMA-BUF 機制，實現了 CPU 與 GPU 之間的零拷貝記憶體共享。
- 推理引擎：基於 llama.cpp 的 Android 移植版，針對 Snapdragon 8 Gen 5 的 Hexagon NPU 進行了算子融合優化。
- 散熱策略：在長時間運行時，系統觸發了動態頻率調整（DVFS），以維持熱平衡並防止過熱降頻。
🔮 前景展望AI analysis grounded in cited sources
行動裝置將在 2027 年前全面支援 50B 參數等級模型的本地運行。
隨著記憶體頻寬（LPDDR6）與 NPU 算力的持續提升，模型量化與壓縮技術的進步將使更大規模的模型在邊緣端變得可行。
私有化 AI 部署將成為高階旗艦手機的標準賣點。
消費者對於數據隱私的重視，將迫使手機廠商將更多原本依賴雲端的 AI 功能轉移至本地處理。
⏳ 時間線
2025-02
Qwen 系列模型發布，展現出強大的 MoE 架構潛力。
2026-01
Samsung 發布 S26 Ultra，強調其針對邊緣 AI 優化的硬體架構。
2026-06
開源社群發布針對 Android 平台的 llama.cpp 深度優化版本。
2026-07
開發者成功在 S26 Ultra 上實現 Qwen 35B MoE 的穩定推理。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗