Ubuntu 原生整合 AI 功能 側重本地推理
Ubuntu 26.04 LTS 發布，帶來 Linux 7.0 內核，並宣布重大 AI 轉型策略。強調原生 AI 整合，側重本地推理。與 Microsoft Win11 AI 功能引發反彈形成對比。
Search
Tag: #local-inference188 results
Qwen3 TTS 本地即時運作出色
用戶在本地即時運行 Qwen3 TTS，用於富有表現力的 VTuber 管線。實作串流、llama.cpp 支援、CTC 對齊，並微調自訂聲音。分享 Persona Engine GitHub 儲存庫。
Unsloth Qwen3.6-27B-GGUF 檔案發布
Unsloth 發布 Qwen3.6-27B 的 GGUF 格式，檔案現可下載。在 r/LocalLLaMA 上由 u/jacek2023 分享。此版本適合高效本地推理大型模型。
Open WebUI Desktop 桌面版發布！
Open WebUI Desktop 已發布，整合 llama.cpp。支援完全本地執行或連接到遠端伺服器。這為本地 LLM 管理提供桌面介面。
雙 512GB RAM M3 Ultra Mac Studio 就緒
一位用戶投資 25k 美元購買兩台各配 512GB RAM 的 M3 Ultra Mac Studio，用於本地 LLM 測試。他們已測試 DeepSeek v3.2 Q8 使用 exo 後端，並運行 GLM 5.1 Q4（正在排除 Q8 問題）。靜待 Kimi 2.6 在 MLX/mmap 的社群優化。
Qwen3.6 + ik_llama 本地達 50+ tok/s 超快
基準測試顯示 Qwen3.6 UD_Q_4_K_M 在 16GB VRAM + 32GB RAM 上以 50+ 令牌/秒運行，支援 200k 上下文視窗。由 ik_llama 推理驅動。於 r/LocalLLaMA 分享。
🤖
修正 Qwen 35B GGUF 解決張量漂移
Qwen3.6-35B 的全新 GGUF 量化版本使用 Wasserstein 度量修正 SSM_conv1d 張量漂移，提升數值穩定性優於 KL 散度。此模型完全無審查，在人類般對話與程式設計表現出色，並提供 LM Studio 推薦設定。可於 Hugging Face 下載。
Qwen3.6 在 Apple Silicon 上性能躍升獲證實
使用者證實 Qwen3.6 在複雜工作負載上性能大幅提升，可媲美 Opus 和 Codex 層級。在 M5 Max 上正確配置後速度驚人。關鍵是啟用 `preserve_thinking` 旗標。
Gemma 4 31B 精通圖像轉 3D 幾何
Gemma 4 31B 從複雜圖像如 F1 賽車生成優質 3D 模型，勝過 Claude Sonnet 4.6、Gemini 3.1 Pro、ChatGPT 及 Qwen3.5 27B。僅用 3600 令牌產生優異結果，對手需 6800+ 且有缺陷。同時擅長編碼、數學、推理及對話。
榮耀推出「養蝦本」AI PC
榮耀公布擴大 PC 家族，推出「打洲本」遊戲本與首創「養蝦本」AI PC。此舉標誌榮耀 AI PC 邁入 3.0 時代，針對本地 AI 工作負載優化硬體。