🇬🇧The Register - AI/ML•較早收集於 23m
PrismML 推出 1-bit Bonasi 8B LLM
💡1-bit LLM 匹敵 8B 模型，小 14 倍、節能 5 倍—立即解鎖行動 AI
⚡ 30-Second TL;DR
有什麼變化
PrismML 推出來自 Caltech 的 Bonasi 8B 1-bit LLM
為什麼重要
這項進展大幅縮減模型大小與功耗，推動裝置端 AI，讓智慧手機能無需雲端即可運行即時應用。它降低邊緣部署在 IoT 與行動裝置的門檻。
下一步行動
從 PrismML 儲存庫下載 Bonasi 8B，並在行動 GPU 上基準測試其效率提升。
誰應關注：Developers & AI Engineers
關鍵要點
- •PrismML 推出來自 Caltech 的 Bonasi 8B 1-bit LLM
- •效能媲美標準 8B 模型
- •檔案大小僅為同級的 1/14
- •節能 5 倍
- •針對行動與邊緣 AI 應用
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Bonasi 8B 採用了名為「極端量化」（Extreme Quantization）的技術，將權重壓縮至單一位元（1-bit），這與傳統的 FP16 或 INT8 量化技術有顯著差異，大幅降低了記憶體頻寬需求。
- •該模型利用了 Caltech 開發的專有訓練框架，該框架專門針對低位元架構進行了梯度更新優化，解決了 1-bit 模型在訓練過程中常見的資訊流失與收斂困難問題。
- •PrismML 的商業模式側重於提供邊緣運算 SDK，允許開發者將 Bonasi 模型直接部署在不具備專用 NPU 的標準智慧型手機處理器上，實現離線即時推論。
📊 競品分析▸ Show
| 特色 | Bonasi 8B (PrismML) | BitNet b1.58 (Microsoft) | Llama 3 8B (Meta) |
|---|---|---|---|
| 權重位元數 | 1-bit | 1.58-bit | 16-bit (FP16) |
| 記憶體佔用 | 極低 (~1GB) | 低 (~1.5GB) | 高 (~16GB) |
| 能源效率 | 極高 | 高 | 中 |
| 部署場景 | 行動/邊緣裝置 | 雲端/邊緣混合 | 雲端/高效能運算 |
🛠️ 技術深入
- •架構基礎：基於 Transformer 解碼器架構，但將所有線性層（Linear Layers）替換為二元權重矩陣。
- •量化機制：採用對稱二元化函數，將權重限制在 {-1, 1} 範圍內，並使用縮放因子（Scaling Factor）來維持模型表達能力。
- •推論優化：利用位元運算（Bitwise Operations）取代傳統的浮點乘法累加（MAC），在支援 SIMD 指令集的 CPU 上可獲得顯著的加速比。
- •訓練穩定性：引入了特殊的激活函數平滑技術（Activation Smoothing），以補償 1-bit 權重導致的損失函數震盪。
🔮 前景展望AI analysis grounded in cited sources
行動裝置 AI 應用將擺脫對雲端 API 的依賴。
Bonasi 8B 的極小體積與低功耗特性，使得在手機本地端執行複雜推理成為常態，無需持續連網。
1-bit LLM 將成為邊緣運算領域的產業標準。
隨著硬體廠商開始針對二元運算優化處理器架構，1-bit 模型在效能與成本上的優勢將迫使業界轉向此類架構。
⏳ 時間線
2025-09
PrismML 於 Caltech 實驗室成立，專注於極端量化研究。
2026-01
PrismML 完成種子輪融資，並發表關於 1-bit 模型訓練穩定性的技術白皮書。
2026-04
正式發布 Bonasi 8B 模型，並開放開發者預覽版 SDK。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： The Register - AI/ML ↗