🦙較早收集於 4h

無審查 Qwen3.5-122B Heretic GGUF 問世

PostLinkedIn
🦙閱讀原文: Reddit r/LocalLLaMA
#uncensored-llm#gguf#large-language-modelqwen3.5-122b-heretic-ggufqwen3.5-122bggufhugging-face

💡122B Qwen GGUF 無拒絕—無審查本地強者。(22字元)

⚡ 30-Second TL;DR

有什麼變化

122B 參數 Qwen3.5 的 GGUF 格式。

為什麼重要

提供高能力無審查 122B 模型的 GGUF 格式,提升無安全護欄的本地 AI 實驗。

下一步行動

從 Hugging Face 下載 Qwen3.5-122B-A10B-heretic-GGUF 以無拒絕推理。

誰應關注:Developers & AI Engineers

關鍵要點

  • 122B 參數 Qwen3.5 的 GGUF 格式。
  • 「Heretic」變體移除所有拒絕。
  • 託管於 huggingface.co/mradermacher/Qwen3.5-122B-A10B-heretic-GGUF。
  • 適合無審查本地推理設定。

🧠 深度解析

背景與延伸:來自公開資料,非原文內容。引用 6 個來源。

🔑 增強重點摘要

  • Qwen3.5-122B-A10B 是 Mixture of Experts (MoE) 模型,總參數 122B,每 token 僅激活 10B 參數,透過 256 個專家進行 gated routing。
  • 模型支援 262k 上下文視窗,可擴展至約 1 百萬 token,並在代理任務基準如 BFCL-V4 (72.2) 和 Terminal-Bench 2 (49.4) 領先。
  • Q4_K_M 量化版本適合單一 H100 80GB GPU 本地運行,提供速度與品質平衡,優於 27B 密集模型。
📊 競品分析▸ Show
基準Qwen3.5-122B-A10BGPT-5 miniClaude Sonnet 4.5
MMLU-Pro86.783.780.8
BFCL-V4 (工具使用)72.255.554.8

🛠️ 技術深入

  • MoE 架構:總 122B 參數,每 token 激活 10B,使用 gated delta network 與 256 個專家路由。
  • 上下文長度:原生 262k token,可擴展至 1M token。
  • 量化建議:Q4_K_M 為速度與準確性最佳平衡,適合 80GB VRAM GPU;Imatrix 改善低位元量化效果。
  • 基準效能:在代理任務領先,如 BFCL-V4 72.2、BrowseComp 63.8、Terminal-Bench 2 49.4。

🔮 前景展望AI analysis grounded in cited sources

無審查 GGUF 變體將加速本地無限制 AI 應用開發
移除拒絕機制結合高效 MoE 架構,使高性能模型更容易在消費者硬體上運行,促進開源社群創新。
Qwen3.5 系列將推動 MoE 模型本地化趨勢
10B 激活參數設計證明高效架構優於純規模,預期更多類似模型出現以降低部署門檻。

時間線

2026-02
Qwen3.5 系列發布,包括 122B-A10B MoE 模型
2026-02
社群開始提供 GGUF 量化版本,如 Q4_K_M 供本地運行
2026-03
mradermacher 上傳無審查 Heretic GGUF 變體至 Hugging Face
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/LocalLLaMA

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。