🦙Reddit r/LocalLLaMA•較早收集於 60m
SmolLM2 在 Galaxy Watch 上 RAM 減 74%
💡在 380MB watch RAM 上運行 360M LLM – 邊緣推論遊戲規則改變者（30字）
⚡ 30-Second TL;DR
有什麼變化
RAM 減 74%：從 524MB 降至 142MB（380MB 裝置）
為什麼重要
實現穿戴裝置上的超低資源 LLM 推論，擴展邊緣 AI 應用。可能合併至主 llama.cpp 儲存庫，有助更廣泛的嵌入式部署。
下一步行動
從 Perinban/llama.cpp 複製 axon-dev 分支，在低 RAM Android 裝置上測試。
誰應關注：Developers & AI Engineers
關鍵要點
- •RAM 減 74%：從 524MB 降至 142MB（380MB 裝置）
- •啟動時間改善：首次 19s 至 11s，第二次約 2.5s
- •透過 host_ptr 與 mmap 修正 CPU tensors；僅複製 Vulkan tensors
- •程式碼：github.com/Perinban/llama.cpp tree axon-dev
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •此優化方案利用了 Android 系統的記憶體映射（mmap）機制，將模型權重直接映射至記憶體空間，從而繞過了傳統載入方式中重複佔用 RAM 的問題。
- •該技術不僅適用於 Galaxy Watch，其核心邏輯對於所有受限於極低記憶體（如 512MB 以下）的嵌入式 Linux 或 Android 穿戴式裝置具有高度的可移植性。
- •開發者透過調整 llama.cpp 的張量分配策略，成功將 Vulkan 加速器的記憶體開銷與 CPU 運算記憶體進行了更嚴格的隔離，這是達成 142MB 低佔用的關鍵。
🛠️ 技術深入
- 模型架構：SmolLM2-360M，採用基於 Transformer 的輕量化架構，專為邊緣運算設計。
- 記憶體優化核心：修改 llama.cpp 的
llama_model_params，強制使用host_ptr並結合mmap，避免了模型權重在載入時的雙重緩衝（Double Buffering）。 - 硬體加速：利用 Vulkan API 進行 GPU 加速，但透過精細控制僅將必要的計算張量（Tensors）複製到 GPU 記憶體，減少了 VRAM 與系統 RAM 的同步開銷。
- 執行環境：在 Samsung Galaxy Watch 4 的 Android 基礎系統上運行，透過交叉編譯（Cross-compilation）將 llama.cpp 移植至 ARM 架構。
🔮 前景展望AI analysis grounded in cited sources
穿戴式裝置將在 2026 年底前普遍支援離線 LLM 推論。
此技術證明了在極低記憶體環境下運行 LLM 的可行性，將推動穿戴式裝置廠商將 AI 推論功能納入標準規格。
llama.cpp 將正式整合針對穿戴式裝置的記憶體優化分支。
由於此優化顯著降低了 RAM 需求，社群對將此功能合併至主線代碼庫的需求日益增長。
⏳ 時間線
2024-11
Hugging Face 發布 SmolLM2 系列模型，主打輕量化與高效能。
2026-03
開發者 Perinban 開始針對 Galaxy Watch 4 進行 llama.cpp 的記憶體優化實驗。
2026-04
成功實現 SmolLM2-360M 在 Galaxy Watch 上的低記憶體推論並公開技術細節。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗