Sabomako發佈Qwen3.5-122B-A10B-heretic-GGUF於Hugging Face
Sabomako在Hugging Face發佈Qwen3.5-122B-A10B-heretic的GGUF版本。實現巨型模型的高效本地推理。在r/LocalLLaMA社群分享。
Search
Tag: #local-llm172 results
🤖
Qwen3.5-35B 攻克多代理工作流程
Qwen3.5-35B 是首個可靠完成多代理工作流程的亞100B模型，能總結10個轉錄本，而 qwen3-coder-next 和 glm-4.7-flash 等模型因工具錯誤或無限迴圈失敗。超過100B的大型模型一致成功，gpt-oss-20b 在高推理努力下也能完成。測試儲存庫可輕鬆在本機複製。
Vellium v0.3.5：寫作模式、KoboldCpp、TTS 大升級
Vellium 推出 v0.3.5，寫作模式大修（書籍聖經、DOCX 匯入、快取摘要、AI 角色編輯），原生 KoboldCpp 支援（記憶體、標籤、n-sigma），以及 OpenAI 相容 TTS。新增 Zen Chat UI、片語禁詞、MIT 授權與穩定修復。
打造 200GB VRAM 四 GPU 工作站
一名 Reddit 使用者提出組裝四張 GPU、總計 200GB VRAM 的系統計畫。方案結合 RTX PRO、RTX 5090、PCIe 擴充與功耗限制策略，目標是在 1,300W 電源供應器內運作。
🤖
本地 LLM 已足以勝任專業程式開發任務
作者認為目前的本地 LLM（如 Qwen 3.6）在程式開發與技術規劃方面已具備高度能力。成功與否更多取決於工作流程、工具鏈與上下文管理，而非模型規模。
📰
批評 Anthropic CEO 對開源模型的立場
社群針對 Dario Amodei 近期在國會聽證會上關於開源 AI 模型風險與技術本質的言論進行批判。作者認為他對於模型透明度與本地部署的說法與事實不符。
關於本地 LLM 是否已準備好用於生產環境的辯論
Hashicorp 創辦人對本地模型是否成熟表示懷疑，引發了社群辯論。從業者認為小型語言模型 (SLM) 已能勝任程式編寫任務。
Qwen Code Desktop v0.0.4 版本發布
Qwen Code Desktop 應用程式已更新至 0.0.4 版本。此版本包含自動更新功能，讓使用者能隨時獲取最新功能。
📰
適合本地硬體的最佳開源程式編寫模型推薦
一位用戶正在尋求與 RTX 5070 和 32GB RAM 配置相容的高效能開源程式編寫模型建議。討論重點在於如何在本地硬體限制下，平衡模型參數規模以進行程式編寫與除錯任務。
🤖
優化大型 MoE 模型的 CPU 推論效能
使用者尋求在支援 AVX2 的消費級 CPU 上運行大型 MoE 模型的建議。討論重點在於如何平衡 RAM 容量與運算頻寬，以達到可用的 Token 生成速度。