Odysseus：將 ChatGPT 級別能力搬進本地的開源 AI 工作台
Odysseus 是一款全新的開源自託管 AI 工作台，讓用戶能在本地運行強大的 AI 模型。它不僅免除了訂閱費用，還能透過將所有處理過程保留在本地機器上，確保數據隱私。
Search
Tag: #local-llm172 results
Google 發布 DiffusionGemma，實現高速本地文字生成
Google 推出了實驗性 AI 模型 DiffusionGemma，利用擴散模型技術將文字生成速度提升至最高 4 倍。透過一次性並行生成 256 個 token，該模型解決了傳統自回歸模型的瓶頸，非常適合本地端的程式碼補全與編輯任務。
Google 透過 Gemma 4 12B 將 AI 代理帶入筆記型電腦
Google 發布了專為消費級硬體本地執行而設計的 120 億參數模型 Gemma 4 12B。此次發布包含 Google AI Edge Gallery 及更新後的 LiteRT-LM CLI 等工具，旨在支援裝置端的自主代理工作流程。
Nous Research 發布 Hermes Desktop 桌面版 AI 代理工具
Nous Research 發布了 Hermes Desktop 桌面版，支援 Windows、macOS 與 Linux。該工具定位為可自我演進的數位員工，具備長期記憶、任務規劃及多種沙箱安全環境。
在 200 英鎊的數據中心 GPU 上運行本地 AI 模型
一位用戶分享了將二手數據中心級 V100 GPU 整合到標準遊戲 PC 中以運行本地 LLM 的經驗，證明了高端硬體正變得對業餘愛好者來說觸手可及。
JetBrains 發布 Mellum2：一款 12B 混合專家模型
JetBrains 推出了 Mellum2，這是一款全新的 12B 參數混合專家 (MoE) 模型。此次發布標誌著該公司在專業 AI 模型開發領域的持續擴張。
華碩 ROG NUC 16 紀念版搭載 RTX 5090 顯卡
華碩發表 ROG NUC 16 20 週年紀念版迷你主機，搭載 NVIDIA RTX 5090 行動版 GPU 與 128GB 記憶體。此高效能迷你主機專為高負載運算任務設計，包含本地 AI 模型推論。
ByteDance 開源多模態模型 Lance，支援本地 40GB VRAM 運行
ByteDance 發布了全新的開源多模態模型 Lance，專為在具備 40GB VRAM 的硬體上本地運行而設計。該模型在發布後迅速於 Hugging Face 獲得高度關注。
TextGen 轉型為原生桌面應用程式
TextGen（前身為 text-generation-webui）現已推出無需安裝的桌面應用程式，支援 Windows、Linux 和 macOS。它提供了一個注重隱私的 LM Studio 替代方案，並具備自定義工具調用與 SOTA 量化支援等進階功能。
Hermes Agent 憑藉自我優化 AI 系統獲得廣泛關注
Hermes Agent 在開源社群中獲得顯著動能，三個月內在 GitHub 累積超過 14 萬顆星。該框架利用 NVIDIA RTX PC 與 DGX Spark，實現了自我優化的代理式 AI 工作流程。