Multiverse 推出壓縮 AI 模型 App 與 API
Multiverse Computing 已壓縮來自 OpenAI、Meta、DeepSeek 和 Mistral AI 的 AI 模型。公司推出了一款展示這些模型能力的 App，以及一個讓它們更廣泛可用的 API，將壓縮 AI 推向主流。
Search
Tag: #edge-deployment6 results
TorchAO 擴展邊緣 LLM 的 QAT
TorchAO 已擴展針對使用 ExecuTorch 的邊緣設備的大型語言模型的量化感知訓練 (QAT) 流程。這建立在前一篇部落格介紹的初始 QAT 基礎上。此更新提升了資源受限環境下的模型最佳化。
阿里千問開源 Qwen3.5 小尺寸模型
阿里千問開源四款 Qwen3.5 小尺寸模型：0.8B、2B、4B、9B。繼承強大多模態能力，適用邊端設備至緊湊伺服器。目前 Qwen3.5 家族全系列已在魔搭社區與 Hugging Face 開源。
PyTorch ExecuTorch 登陸 Arm 微邊緣裝置
PyTorch 推出 ExecuTorch，用於在 Arm 架構的微邊緣裝置上部署模型。這使得 AI 推論能在掌上大小、低記憶體系統上運行，先前受資源限制無法實現。擴展 PyTorch 從雲端到微型嵌入式硬體的應用。
AI 在一週內重建 Next.js 為 vinext
一位工程師使用 AI 在一週內將 Next.js 重建於 Vite 之上，創造出 vinext。vinext 建置速度比原版快達 4 倍，且產生 57% 更小的 bundle。它能以單一指令無縫部署至 Cloudflare Workers。
🤖
最小的（最有能力）模型是什麼？
Reddit 用戶尋找適合瀏覽器或公域（需使用者選擇加入）的最小模型，用於基本英文單向對話。提及 TinyStories（<100M 參數）尚可但易崩潰，對 Bonsai 1.7b（<300M）抱希望。發佈於 r/LocalLLaMA。