🐯虎嗅•較早收集於 12m
PicoLM：10美元板子跑10億參數LLM
💡10美元 Pi Zero 離線跑 10億參數 LLM：45MB RAM，2 tok/s，無雲端！
⚡ 30-Second TL;DR
有什麼變化
638MB 模型僅用 45MB RAM，透過 mmap 逐層載入
為什麼重要
PicoLM 將 LLM 推理門檻降至超低價嵌入式硬體，實現零成本、私密、離線 AI，挑戰雲端主導範式。為 IoT、感測器及本地代理開啟邊緣 AI 應用。
下一步行動
從 GitHub 複製 PicoLM 儲存庫，並在 Raspberry Pi Zero 上基準測試 TinyLlama。
誰應關注：Developers & AI Engineers
關鍵要點
- •638MB 模型僅用 45MB RAM，透過 mmap 逐層載入
- •純 C11，80KB 二進位檔，無依賴/Python/雲端，總計 2500 行
- •優化：Flash Attention、FP16 KV (40MB)、融合反量化+點積、RoPE 表格
- •效能：x86 13.5 tok/s，Pi5 10 tok/s，Pi Zero 2W 2 tok/s
- •JSON 文法約束確保 PicoClaw 代理可靠工具呼叫
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •PicoLM 的核心設計哲學在於極致的記憶體映射（mmap）策略，它不僅僅是逐層載入，更透過作業系統的虛擬記憶體管理機制，實現了在極低 RAM 裝置上運行遠超其實體記憶體容量的模型。
- •該專案利用了 C11 標準的特性，避免了任何外部依賴（如 BLAS 或 CUDA），這使得它在嵌入式 Linux 環境下的移植性極高，特別適合資源受限的物聯網（IoT）邊緣運算節點。
- •PicoClaw 的 JSON 文法約束機制採用了確定性狀態機解析，確保了模型在進行工具呼叫時不會產生幻覺，這對於需要高可靠性的自動化代理任務至關重要。
📊 競品分析▸ Show
| 引擎名稱 | 語言/依賴 | 記憶體優化技術 | 適用場景 |
|---|---|---|---|
| PicoLM | C11 / 無 | 逐層 mmap | 極限嵌入式 (Pi Zero) |
| llama.cpp | C++/GGML | 量化 (GGUF) | 通用邊緣運算 (Pi 4/5) |
| TinyGrad | Python/C | 融合算子 | 研究與原型開發 |
🛠️ 技術深入
- 記憶體管理：採用
mmap將模型權重檔案直接映射到虛擬位址空間，利用作業系統的頁面置換（paging）機制，僅在需要時將權重載入實體記憶體，從而實現 45MB RAM 運行 10 億參數模型。 - 運算優化：實作了融合運算（Fused Operations），將反量化（dequantization）與矩陣乘法（dot product）合併在單一迴圈中執行，減少了記憶體存取次數（Memory Bound 瓶頸）。
- 推理架構：支援 FP16 KV 快取，並透過預計算 RoPE（旋轉位置編碼）表格，避免在推理過程中進行三角函數運算，顯著降低 CPU 負載。
- 工具呼叫：PicoClaw 透過嚴格的 JSON Schema 限制模型輸出，強制模型在生成回應時遵循預定義的函數呼叫格式，確保下游程式可解析。
🔮 前景展望AI analysis grounded in cited sources
PicoLM 將推動工業物聯網（IIoT）感測器實現本地化 AI 決策。
極低的硬體需求與完全離線的特性，使感測器無需傳輸數據至雲端即可進行即時異常檢測與邏輯判斷。
嵌入式裝置的 AI 推理將從依賴專用 NPU 轉向通用 CPU 優化。
PicoLM 證明了透過極致的軟體演算法優化，通用低功耗 CPU 也能達到足以應用的推理速度。
⏳ 時間線
2026-02
PicoLM 專案於 GitHub 開源並發布初步推理引擎。
2026-04
PicoClaw 代理框架整合，實現工具呼叫功能。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 虎嗅 ↗