軟銀與Ampere測試CPU運行小型AI模型
軟銀與Ampere Computing啟動聯合項目，提升CPU運行小型AI模型效率。專注低時延、高效率推理環境。作為下一代AI基礎設施關鍵技術。
Search
Tag: #small-models17 results
🤖
LFM 2.5 2.6B 擅長本地工具使用
一名開發者表示，LFM 2.5 2.6B 是其使用過最適合工具使用任務的小型模型。在一個本地端 Perplexity 類 AI 搜尋專案中，據稱該模型無需額外訓練便已接近需求規格。
🤖
最小的（最有能力）模型是什麼？
Reddit 用戶尋找適合瀏覽器或公域（需使用者選擇加入）的最小模型，用於基本英文單向對話。提及 TinyStories（<100M 參數）尚可但易崩潰，對 Bonsai 1.7b（<300M）抱希望。發佈於 r/LocalLLaMA。
🤖
2B 模型有實用案例，還是僅供玩樂？
新用戶質疑 Qwen2.5 和 Gemma 等 2B 模型在智慧手機上的實用性，指出簡單查詢中 80% 回覆出現幻覺。尋求確認這是否預期或使用者錯誤。在 r/LocalLLaMA 討論。
📰
推動小型 SOTA 程式碼模型
文章質疑為何沒有小型模型能匹敵 Opus 或 Qwen3-Coder-480B 在 Python 程式碼表現。建議訓練專用 30B Python 模型以匹敵 480B 效能。引發高效程式碼 LLM 討論。
小型 Qwen 模型即將推出？
Reddit 貼文以神秘數學提示 13-9=4 預告即將推出小型 Qwen 模型。在 r/LocalLLaMA 分享，引發對 Alibaba 熱門 LLM 系列緊湊版的期待。目前尚未提供更多細節。
Cadmus: Cheap Program Synthesis System
Apple unveils Cadmus, a small-scale system for autoregressive program synthesis. It features an integer VM, diverse program dataset, and transformer model trained under $200 compute. Enables controlled experiments bypassing LLM challenges like OOD and tokenization.