面壁智能「開源週」：定義端側 AI 的終局
面壁智能啟動開源週，專注於端側 AI 的系統級優化。該項目旨在標準化 AI 模型在本地硬體的部署流程。
Search
Tag: #local-llm172 results
📰
為什麼我從 ChatGPT 轉向使用本地 AI 工具 Ollama
本文探討了從 ChatGPT 等雲端服務轉向本地 AI 解決方案 Ollama 的過程。文章強調了其在隱私保護、成本效益以及離線存取方面的優勢。
在地運行 LLM：硬體與模型選擇指南
本文探討了在本地運行如 Gemma 4 等大型語言模型進行翻譯與摘要等實務工作的可行性。文中提供了針對個人 AI 環境選擇合適硬體、GPU 與模型的實用指南。
Osaurus 推出結合本地與雲端 AI 的 Mac 應用程式
Osaurus 發布了一款全新的 Mac 應用程式，整合了本地與雲端 AI 模型。該工具旨在將使用者的記憶體、檔案與工具等資料安全地保留在個人硬體設備上。
🤖
測試 Qwen 3.6 35B 多標記預測能力
社群對 Qwen 3.6 35B MTP 模型的測試顯示，其在本地 LLM 工作流中具有顯著的速度提升。使用者成功在消費級硬體上管理高達 300k 標記的長上下文視窗。
LaTA：FERPA 相容本地 LLM 自動評分器
LaTA 是一款即插即用、開源自動評分器，使用本地開源權重 LLM 評分基於 LaTeX 的高年級 STEM 課程作業，確保符合 FERPA 而不需第三方 API。已在大學課程中部署於 200 名學生，每份作業在單台 Mac Studio 上 1-3 分鐘處理，錯誤率 0.02-0.04%，並提升學生考試分數 8-11%。程式碼以 AGPLv3 釋出。
英特爾Arc驅動解鎖iGPU 93%系統記憶體
英特爾為Arc Pro系列發布HotFix工作站驅動302.0.101.8517（Q1.26 R2）。它調整記憶體分配策略，允許Arc整合GPU調用最高93%的系統記憶體。此更新有助於在本機運行更大規模的AI大型語言模型（LLM）。
Qwen3.6-27B：在 RTX 3090 上達 85 TPS
使用者分享的堆疊讓 Qwen3.6-27B 模型在單一 RTX 3090 GPU 上達到 85 個 token 每秒、125K 上下文長度並支援視覺功能。此設定一夜之間完成，並在 Reddit 上發布給社群使用。展示了大型模型的高效能本地推理。
Kimi K2.6 在 Hugging Face 發布
Kimi K2.6 已發布，並可在 Hugging Face 上取得。公告由 /u/BiggestBau5 在 Reddit 的 r/LocalLLaMA 發佈。此更新為開源社群帶來 Kimi 模型的新版本。
📰
Qwen3.6-35B-A3B 解決 Qwen3.5-27B 無法處理的編碼問題
用戶表示 Qwen3.6-35B-A3B 在預算應用程式的複雜編碼問題上表現出色，這些問題曾難倒 Qwen3.5-27B 和更大模型。它能有效重構程式碼、識別低效之處，並使用子代理處理安全審核，維持在 128k 上下文內。在 RTX 5070 Ti 上運行順暢，處理速度達 320t/s。