🦙Reddit r/LocalLLaMA•最新收集於 4h
90M 對話式 LLM 在 2004 年 PSP 上運行
💡看看本地 LLM 推理在 2004 年 Sony PSP 上究竟能做到什麼程度。
⚡ 30-Second TL;DR
有什麼變化
該專案的目標硬體是 2004 年推出的 Sony PSP。
為什麼重要
這主要是極限本地推理的展示，而非實際部署平台。它顯示經過高度壓縮或輕量化的語言模型，能在資源極度受限的舊硬體上運行。
下一步行動
複製 LLMPSP 儲存庫，並在與你的邊緣 AI 專案相關的受限裝置上測試模型大小、記憶體用量與每秒 token 速度。
誰應關注：Developers & AI Engineers
關鍵要點
- •該專案的目標硬體是 2004 年推出的 Sony PSP。
- •據稱 9,000 萬參數模型接近 PSP 可實際運行的大小上限。
- •推理速度約為每秒 0.5–0.6 個 token，每次回覆約需 1–3 分鐘。
- •模型能生成詩歌、短篇故事及偶爾正確的事實回答，但經常產生幻覺。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗
每週 AI 簡報
每週一封，可隨時退訂。