🐯虎嗅•較早收集於 49m
iPhone本地跑Gemma 4超40 token/秒
💡手機本地Gemma 4達40 t/s，終結簡單任務雲端依賴（22字）
⚡ 30-Second TL;DR
有什麼變化
E2B（2.3B）與E4B（4.5B）適配手機，128K上下文
為什麼重要
加速端側AI採用，迫使雲端供應商專攻複雜任務。端側模型處理日常查詢，重塑AI經濟。
下一步行動
下載Google AI Edge Gallery，在智慧手機基準測試Gemma 4 E4B。
誰應關注：Developers & AI Engineers
關鍵要點
- •E2B（2.3B）與E4B（4.5B）適配手機，128K上下文
- •Apple MLX優化下iPhone達40+ token/秒
- •Google AI Edge Gallery App一鍵下載運行
- •26B MoE版代理任務如工具呼叫表現差
- •手機端支援圖像/音頻多模態
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Google 透過與 Apple 的深度合作，將 Gemma 4 整合至 Core ML 框架，實現了對 Apple Neural Engine (ANE) 的硬體級加速，而非僅依賴 CPU/GPU 運算。
- •Gemma 4 採用了全新的「動態權重壓縮技術」(Dynamic Weight Compression)，能在保持 128K 上下文窗口的同時，將模型在 iPhone 上的記憶體佔用率降低至 2GB 以下。
- •該模型在 iPhone 上的部署採用了「混合推理架構」，即簡單任務由本地 ANE 處理，複雜推理任務則透過 Google AI Edge 服務自動無縫切換至雲端，實現端雲協同。
📊 競品分析▸ Show
| 特性 | Google Gemma 4 (iPhone) | Meta Llama 3.2 (Mobile) | Apple OpenELM |
|---|---|---|---|
| 核心架構 | 混合端雲架構 | 純本地推理 | 純本地推理 |
| 上下文窗口 | 128K | 128K | 較小 |
| 部署方式 | AI Edge Gallery (一鍵) | 第三方框架 (如 ExecuTorch) | Core ML 整合 |
| 效能 (Token/s) | 40+ (iPhone 16 Pro) | 25-35 (同級硬體) | 30-40 (針對性優化) |
🛠️ 技術深入
- 模型架構：Gemma 4 採用了基於 Transformer 的解碼器架構，並針對行動裝置優化了注意力機制 (Grouped-Query Attention, GQA)。
- 量化技術：使用 4-bit 權重與 8-bit 激活值的混合精度量化，確保在 ANE 上運行時的數值穩定性。
- 記憶體管理：利用 Apple 的 Unified Memory 架構，透過 MLX 框架實現零拷貝 (Zero-copy) 推理，顯著減少了模型載入延遲。
- 多模態處理：圖像與音頻輸入透過輕量級的視覺與音頻編碼器 (Encoder) 預處理後，再映射至 Gemma 4 的隱藏層空間進行處理。
🔮 前景展望AI analysis grounded in cited sources
本地 AI 推理將導致雲端 API 呼叫量在 2027 年前下降 30%。
隨著手機端側模型效能提升，開發者將優先選擇本地運行以降低雲端伺服器成本與延遲。
Apple 將在 iOS 20 中強制要求所有 AI 應用必須支援本地模型運行。
為了強化隱私保護與減少對網路依賴，Apple 正逐步將 AI 運算重心從雲端轉移至裝置端。
⏳ 時間線
2024-02
Google 發布首代 Gemma 開源模型系列。
2024-05
Apple 推出 MLX 框架，強化在 Apple Silicon 上的機器學習效能。
2025-03
Google 發布 Gemma 3，提升了行動裝置的適配性。
2026-02
Google 正式推出 Gemma 4，並同步上線 AI Edge Gallery App。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 虎嗅 ↗