🕷️
SetupAI
EN
🦙較早收集於 58m

無審查 Qwen3.5 122B INT4 量化版發布

無審查 Qwen3.5 122B INT4 量化版發布
PostLinkedIn
🦙閱讀原文： Reddit r/LocalLLaMA
#quantization#uncensored#hardware-cluster#coding-agentqwen3.5-122b-a10b-heretic-int4-autoroundqwen3.5hereticasus-ascentdgx-spark

💡本地叢集用快速無審查 122B 量化—完美編碼代理（24字）

⚡ 30-Second TL;DR

有什麼變化

Heretic：INT4 AutoRound 量化，篡改權重無審查

為什麼重要

讓消費級叢集實現高性能無審查本地推理，降低進階代理和編碼工作流程門檻。

下一步行動

從 Hugging Face 下載 happypatrick/Qwen3.5-122B-A10B-heretic-int4-AutoRound 並在叢集測試。

誰應關注：Developers & AI Engineers

關鍵要點

  • •Heretic：INT4 AutoRound 量化，篡改權重無審查
  • •在多節點叢集上比 Qwen3.5 122B 密集版更快
  • •27B/35B/122B 的編碼、代理自訂韁繩
  • •ASUS Ascents 和 DGX Spark 的 256GB RAM 設定

🧠 深度解析

背景與延伸：來自公開資料，非原文內容。引用 3 個來源。

🔑 增強重點摘要

  • •Qwen3.5-122B-A10B在代理性能和視覺理解基準測試中超越GPT-5 mini，填補中規模與最先進模型的性能差距[1]。
  • •Qwen3系列支援119種以上語言的多語言性能，並在ArenaHard基準達到95.6分，與Gemini 2.5 Pro相當[2]。
  • •Qwen3-235B-A22B擁有2350億總參數與220億活躍參數，支援32,768至131,072 token的上下文長度，並具128個專家[3]。
📊 競品分析▸ Show
模型參數規模基準亮點量子化支援
Qwen3.5-122B-A10B122B (A10B)代理/視覺 > GPT-5 mini [1]INT4/INT8 [3]
Qwen3.5-27B27B> GPT-5 mini [1]Q4_K_M (手機24-30 t/s) [2]
GPT-5 mini未明代理/視覺落後Qwen3.5 [1]未提
Qwen3-235B-A22B235B (A22B)推論強 [3]INT4/INT8 [3]

🛠️ 技術深入

  • •Qwen3-235B-A22B採用MoE架構，總參數2350億、活躍參數220億、專家數128（活躍8個），支援思考模式處理複雜推論[3]。
  • •上下文長度：原生32,768 token，使用YaRN擴展至131,072 token[3]。
  • •優化技術包括INT8/INT4量子化、快取（頻出問題20-30%免重算）、動態路由（簡單查詢轉小型模型）[3]。
  • •推理速度：單用戶150 tokens/秒，多用戶隨人數線性下降（如10用戶各15 tokens/秒）[3]。
  • •Qwen3.5系列在BFCL編碼68.2分、AIME25數學70.3分，非思考模式對話達20 tokens/秒[2]。

🔮 前景展望AI analysis grounded in cited sources

INT4量化無審查版將加速本地部署採用
量子化降低記憶體需求，使122B模型能在256GB RAM叢集上超越密集版速度，適合編碼與代理任務[原文][3]。
Qwen3.5 MoE模型縮小與封閉API性能差距
Qwen3.5-122B-A10B在多基準超越GPT-5 mini，結合多語言與視覺優勢，提升開源競爭力[1][2]。

⏳ 時間線

2025-05
Qwen3-235B-A22B發布，引入2350億參數MoE架構與思考模式[3]
2026-02
Qwen3.5系列輕量版發布，包括Qwen3.5-122B-A10B與27B，基準超越GPT-5 mini[1]
2026-03
Reddit發布Qwen3.5 122B INT4 Heretic無審查量化版，在叢集上優化速度[原文]

📎 來源 (3)

Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.

  1. gigazine.net — 20260226 Qwen 3 5 Medium Model Series
  2. apidog.com — Best Qwen Models Jp
  3. zenn.dev — 94f1b3c7658b1e
🦙閱讀原文： Reddit r/LocalLLaMA
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #quantization

同產品

更多關於 Qwen Chat

同來源

最新來自 Reddit r/LocalLLaMA

Ox Alpha 暗示神秘 AI 模型

Ox Alpha 暗示神秘 AI 模型

Reddit r/LocalLLaMA•Aug 21

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。