📰
VultronRetriever：高效能離線檢索模型系列發布
VultronRetriever 模型系列已於 HuggingFace 發布，為邊緣裝置提供頂尖的檢索效能。此系列模型參數規模從 0.8B 到 8B 不等，專為離線問答與文件嵌入進行了優化。
Search
Tag: #offline-inference5 results
Meta 推出可離線運行的 300 億參數 AI 模型
Meta 發布 Muse Glimmer，這是一款可完全離線運行的免費 300 億參數 AI 模型。使用者不需要訂閱服務或資料中心存取權，但需要至少具備 24GB VRAM 的 GPU。
Google 悄然推出離線 AI 聽寫 App
Google 悄然推出以 Gemma 模型為基礎的離線優先 AI 聽寫 App。此 App 可在無網路連線下進行語音轉文字功能。它定位為 Wispr Flow 等 App 的競爭對手。
Sarvam 將邊緣 AI 帶入手機、汽車、眼鏡
印度 Sarvam AI 計劃將其模型部署到功能手機、汽車和智慧眼鏡上。這些邊緣模型體積極小，僅佔用兆位元組空間，能在現有手機處理器上運行，並支援離線運作。
本地 LLM 飛行中緩解疼痛
用戶在無 WiFi 航班上遭遇嚴重氣壓竇炎，使用筆電上的 Gemma 本地 LLM 求助。模型建議 Toynbee Maneuver，10 分鐘內緩解疼痛。凸顯離線本地 AI 的實際價值。