舊 Android 手機變本地 AI 語音助理
使用者將破損的舊 Pixel 5a 改造成本地 AI 語音助理，使用 llama.cpp 伺服器搭配 gemma-3-4b 模型及手機上的 Termux 腳本。透過 Flask 和 SSH 連接，初始存取使用 scrcpy。儲存庫可在 10 分鐘內快速設定，用於查詢天氣等問題。
Search
Tag: #local-llm172 results
🤖
Gemma 越獄系統提示詞發布
Reddit 貼文分享用於越獄 Gemma 及大多數開源模型的系統提示詞，覆蓋政策以允許無限制內容。源自 GPT-OSS，適用於 GGUF 和 MLX 變體。使用者可自訂允許內容清單。
Kon：適用本地 LLM 的程式碼代理
Kon 是一個輕量程式碼代理，受 pi、opencode 和 Claude 啟發，支持如 Gemma-4-26B-A4B 和 Qwen3.5-27B 的本地模型。功能包含附件、指令、技能、壓縮、移交和模型切換，無遙測。在 3090 GPU 上透過 llama-server 測試。
GLM-5.1 模型發布
Reddit r/LocalLLaMA 子版塊發布 GLM-5.1 貼文。由 u/danielhanchen 提交，包含連結與評論。可能是適用於本地使用的全新 LLM 模型。
📰
Gemma 4 26B 主宰本地編碼
使用者讚揚 Gemma 4 26B 是 64GB Mac 的理想本地模型，仅需 3 個提示就完成 HTML/JS 的 Doom 式光線追蹤器編碼。它勝過 Qwen 3 Coder 和 Qwen 3.5 MOE，避免循環和工具問題，運行快速無過載。
⚙️
終於修復 Gemma 4 KV 快取
llama.cpp 更新修復了 Gemma 4 的 KV 快取問題，消除了先前高達 PB 級的 VRAM 消耗。這讓本地推理不再受硬體限制。
Arcee.ai 推出 Trinity-Large-Thinking 模型
Arcee.ai 在 Hugging Face 上發布了 Trinity-Large-Thinking 模型。此公告在 Reddit 的 r/LocalLLaMA 社群分享。這似乎是一款針對進階推理任務優化的全新大型語言模型。
聯想推出AI原生「養蝦」終端
聯想3月31日發布YOGA AI Mini與Think AI Tiny兩款AI原生終端。YOGA AI Mini支援一鍵部署、原生「養蝦」（本地LLM運行）及系統級安全，解決Mac mini痛點。Think AI Tiny瞄準企業辦公，實現ToC+ToB全覆蓋。
TideSurf：Web 代理 30 倍令牌減少
TideSurf 將渲染 DOM 壓縮成類 Markdown 格式，用於 LLM Web 代理，在 GitHub 頁面實現 32 倍令牌減少，並在 M1 Pro MacBook 上使用 Qwen 3.5 9B 將 TTFT 降低 12 倍（106 秒至 8 秒）。它提供 18 種互動工具，支援 CLI/MCP，並在約 30ms 內解析 DOM。這是 v0.3 早期開源專案，可透過 npm 安裝。
Yagmi：本地優先網頁搜尋代理
Yagmi 是一款全新本地優先網頁搜尋代理，專為注重隱私的使用者設計。示範影片展示 Jan 使用 Yagami MCP，由 qwen2.5-9b 透過 vLLM 驅動。它包含 pi-yagami-search 擴充功能，取代 Pi 編碼工作中的 Exa，並提供 GitHub 儲存庫。