🦙Reddit r/LocalLLaMA•較早收集於 4h
無審查 Qwen3.5-122B Heretic GGUF 問世
#uncensored-llm#gguf#large-language-modelqwen3.5-122b-heretic-ggufqwen3.5-122bggufhugging-face
💡122B Qwen GGUF 無拒絕—無審查本地強者。(22字元)
⚡ 30-Second TL;DR
有什麼變化
122B 參數 Qwen3.5 的 GGUF 格式。
為什麼重要
提供高能力無審查 122B 模型的 GGUF 格式,提升無安全護欄的本地 AI 實驗。
下一步行動
從 Hugging Face 下載 Qwen3.5-122B-A10B-heretic-GGUF 以無拒絕推理。
誰應關注:Developers & AI Engineers
關鍵要點
- •122B 參數 Qwen3.5 的 GGUF 格式。
- •「Heretic」變體移除所有拒絕。
- •託管於 huggingface.co/mradermacher/Qwen3.5-122B-A10B-heretic-GGUF。
- •適合無審查本地推理設定。
🧠 深度解析
背景與延伸:來自公開資料,非原文內容。引用 6 個來源。
🔑 增強重點摘要
- •Qwen3.5-122B-A10B 是 Mixture of Experts (MoE) 模型,總參數 122B,每 token 僅激活 10B 參數,透過 256 個專家進行 gated routing。
- •模型支援 262k 上下文視窗,可擴展至約 1 百萬 token,並在代理任務基準如 BFCL-V4 (72.2) 和 Terminal-Bench 2 (49.4) 領先。
- •Q4_K_M 量化版本適合單一 H100 80GB GPU 本地運行,提供速度與品質平衡,優於 27B 密集模型。
📊 競品分析▸ Show
| 基準 | Qwen3.5-122B-A10B | GPT-5 mini | Claude Sonnet 4.5 |
|---|---|---|---|
| MMLU-Pro | 86.7 | 83.7 | 80.8 |
| BFCL-V4 (工具使用) | 72.2 | 55.5 | 54.8 |
🛠️ 技術深入
- •MoE 架構:總 122B 參數,每 token 激活 10B,使用 gated delta network 與 256 個專家路由。
- •上下文長度:原生 262k token,可擴展至 1M token。
- •量化建議:Q4_K_M 為速度與準確性最佳平衡,適合 80GB VRAM GPU;Imatrix 改善低位元量化效果。
- •基準效能:在代理任務領先,如 BFCL-V4 72.2、BrowseComp 63.8、Terminal-Bench 2 49.4。
🔮 前景展望AI analysis grounded in cited sources
無審查 GGUF 變體將加速本地無限制 AI 應用開發
移除拒絕機制結合高效 MoE 架構,使高性能模型更容易在消費者硬體上運行,促進開源社群創新。
Qwen3.5 系列將推動 MoE 模型本地化趨勢
10B 激活參數設計證明高效架構優於純規模,預期更多類似模型出現以降低部署門檻。
⏳ 時間線
2026-02
Qwen3.5 系列發布,包括 122B-A10B MoE 模型
2026-02
社群開始提供 GGUF 量化版本,如 Q4_K_M 供本地運行
2026-03
mradermacher 上傳無審查 Heretic GGUF 變體至 Hugging Face
📎 來源 (6)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/LocalLLaMA ↗
每週 AI 簡報
每週一封,可隨時退訂。