📰
Bonsai-27B 模型更新與 llama.cpp 整合進度
Bonsai-27B 與 Ternary-Bonsai-27B 模型在整合至 llama.cpp 的進度上有重大更新，目前已支援 Metal 與 Vulkan 等多種後端。
Search
Tag: #local-inference188 results
成功在 Godot 引擎中本地運行 Gemma 4
開發者成功僅使用 GDScript 和 Vulkan 計算著色器，將 Gemma 4 整合至 Godot 引擎中。此實驗證明了大型語言模型無需依賴 llama.cpp 等外部工具，即可在遊戲引擎內運行。
📰
PyTorch 2.13 發布，新增 Apple Silicon FlexAttention 支援
PyTorch 2.13 已正式發布，帶來了關鍵的效能改進。最顯著的更新是為 Apple Silicon (MPS) 裝置整合了 FlexAttention 支援。
Nvidia老款RTX 3060 GPU重新在美上市
在發布五年後，Nvidia透過技嘉等合作夥伴將RTX 3060 12GB顯卡重新引入美國市場。此舉旨在滿足市場對中階硬體的需求，儘管已有更新的架構可供選擇。
Inflect-Nano：超輕量級 4.63M 參數 TTS 模型發布
Inflect-Nano 是一款僅有 4.63M 參數的高效語音合成模型，專為在低階硬體上進行本地執行而設計。它具備獨特的尺寸與功能比，非常適合嵌入式裝置及離線語音代理。
Windows 11 讓非 Copilot+ 電腦也能原生運行 AI 工作負載
Microsoft 正在將原生 AI 工作負載能力擴展至更多 Windows 11 電腦。此更新允許沒有特定 Copilot+ 硬體標章的裝置更有效地執行 AI 任務。
🎨
Photoshop 移除工具現已支援端側 AI 模型
Adobe 更新了 Photoshop 的移除工具，使其能利用端側 AI 模型，進而提升效能與隱私性。此轉變讓使用者在無需完全依賴雲端處理的情況下，能更快速地進行物件移除。
⚙️
Moore Threads AICUBE 家用 AI 中心
Moore Threads 推出了 AICUBE，這是一款旨在整合本地 AI 處理能力的新型家用 AI 中心。該設備旨在將高效能運算帶入家庭環境。
Agent計算推向終端，AI NAS成為關鍵
產業專家正將網路附加儲存（NAS）重新定義為AI驅動的邊緣運算平台。重點正從單純的數據儲存轉向本地AI處理。
Qwen 3.6 27B 量化品質基準測試
使用者以自訂國際象棋 PGN 轉 SVG 任務基準測試 Qwen 3.6 27B 從 BF16 到 IQ3_XXS 的量化版本，以找出適合 16GB VRAM 的最佳選擇。高量化如 Q6_K 在棋盤狀態追蹤及 SVG 渲染表現出色；Gemma 4 和 Qwen 3.5 等其他模型大多失敗。測試使用 llama.cpp 固定取樣參數。