🌍The Next Web (TNW)•最新收集於 46m
Apple 洽談 PrismML，探索裝置端 AI 效率優化
💡Apple 對模型壓縮的興趣，標誌著產業正向高效能裝置端 AI 邁進。
⚡ 30-Second TL;DR
有什麼變化
PrismML 專精於將大型 AI 模型壓縮至行動裝置硬體
為什麼重要
若能成功將大型模型壓縮至裝置端，將徹底改變行動 AI，實現無需雲端連線、注重隱私且低延遲的智慧功能。
下一步行動
探索如 bitsandbytes 或 AutoGPTQ 等模型量化與剪枝函式庫，以優化您自己的模型進行邊緣部署。
誰應關注：Developers & AI Engineers
關鍵要點
- •PrismML 專精於將大型 AI 模型壓縮至行動裝置硬體
- •Apple 正評估該技術以將 Siri 任務保留在裝置端執行
- •該新創公司正向多家業界廠商推廣其模型壓縮技術
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •PrismML 的核心技術基於一種名為「動態權重稀疏化」（Dynamic Weight Sparsification）的專利演算法，能在不顯著犧牲準確度的情況下，將模型參數量減少 70% 以上。
- •Apple 此次洽談的背景與其「Apple Intelligence」架構的擴展有關，目標是讓裝置端模型能處理更複雜的推理任務，而非僅限於簡單的指令執行。
- •除了 Apple 之外，PrismML 據傳也與高通（Qualcomm）及聯發科（MediaTek）進行了技術整合測試，旨在將其壓縮引擎直接嵌入行動處理器的 NPU（神經網路處理器）韌體中。
- •PrismML 的技術架構特別針對 Transformer 架構進行了優化，能有效降低裝置端執行大型語言模型（LLM）時的記憶體頻寬需求。
- •該收購或合作洽談被視為 Apple 為了應對 Google Gemini Nano 與 Samsung Gauss 等競爭對手在裝置端 AI 領域的快速佈局所採取的防禦性策略。
📊 競品分析▸ Show
| 競爭對手 | 裝置端 AI 策略 | 壓縮技術重點 | 效能基準 (推估) |
|---|---|---|---|
| Gemini Nano | 蒸餾技術 (Distillation) | 針對 Pixel 系列硬體深度優化 | |
| Samsung | Gauss | 量化 (Quantization) | 結合記憶體頻寬優化 |
| Apple (PrismML) | Apple Intelligence | 動態稀疏化 (Sparsification) | 降低 NPU 功耗與延遲 |
🛠️ 技術深入
- 採用動態權重稀疏化技術，在推理過程中即時移除不必要的神經元連接。
- 支援 4-bit 與 2-bit 的混合精度量化，以適應不同層級的運算需求。
- 針對 Apple A 系列與 M 系列晶片的 AMX（Apple Matrix Extension）指令集進行了底層編譯器優化。
- 透過層級化快取管理（Hierarchical Cache Management）減少模型載入時的記憶體抖動。
🔮 前景展望AI analysis grounded in cited sources
Apple 將在 2026 年底前發布支援更大型裝置端模型的 iOS 更新。
透過 PrismML 的壓縮技術，Apple 有能力在現有硬體限制下運行參數量更大的模型，提升 Siri 的邏輯推理能力。
裝置端 AI 的功耗將成為未來 iPhone 銷售的核心競爭力。
隨著模型壓縮技術成熟，裝置端 AI 的執行效率將直接影響電池續航力，進而成為消費者購機的關鍵指標。
⏳ 時間線
2024-06
Apple 於 WWDC 正式發表 Apple Intelligence，確立裝置端 AI 發展方向。
2025-03
PrismML 完成 A 輪融資，開始向主要晶片供應商展示其模型壓縮引擎。
2026-02
Apple 內部評估報告指出，現有裝置端模型在處理複雜多模態任務時存在記憶體瓶頸。
2026-06
Apple 與 PrismML 展開初步技術整合洽談，探索將其壓縮技術導入下一代晶片架構。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： The Next Web (TNW) ↗