🦙Reddit r/LocalLLaMA•較早收集於 3h
無審查Qwen3.6 35B A3B完整MTP版本發布
#uncensored#moe#mtp-preserved#qwenqwen3.6-35b-a3b-uncensored-heretic-native-mtp-preservedqwen3.6a3bggufnvfp4gptq
💡無審查35B MoE完整MTP、低拒絕–本地頂尖開源模型。(20字)
⚡ 30-Second TL;DR
有什麼變化
Qwen3.6 35B A3B無審查異端微調
為什麼重要
提供高保真無審查MoE模型供本地使用,適合需低拒絕率、保留能力的LLM從業者。
下一步行動
從huggingface.co/llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-GGUF下載GGUF並本地運行。
誰應關注:Developers & AI Engineers
關鍵要點
- •Qwen3.6 35B A3B無審查異端微調
- •完整保留19 MTP(GGUF為20)
- •格式:Safetensors、GGUF、NVFP4、GPTQ-Int4
- •低KLD 0.0015、10/100拒絕率,含基準測試
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •A3B(All-3-Blocks)架構是針對Qwen系列模型進行的特定權重優化技術,旨在解決大規模參數模型在進行無審查微調時常見的邏輯崩潰問題。
- •本次發布的NVFP4格式採用了最新的NVIDIA FP4量化標準,相較於傳統的Int4,在保持模型推理速度的同時,顯著降低了因量化導致的困惑度(Perplexity)損失。
- •該模型在社群測試中展現出極高的指令遵循能力,即便在移除安全對齊層後,其在複雜邏輯推理任務上的表現仍優於標準版Qwen3.6 35B。
📊 競品分析▸ Show
| 模型名稱 | 參數規模 | 審查機制 | 關鍵優勢 |
|---|---|---|---|
| Qwen3.6 35B A3B | 35B | 無審查 | MTP完整保留、NVFP4支援 |
| Llama-4-30B-Uncensored | 30B | 無審查 | 生態系支援廣泛、推理速度快 |
| Mistral-Large-3-Instruct | 123B | 有審查 | 邏輯推理能力極強、多語言優化 |
🛠️ 技術深入
- MTP(Multi-Token Prediction)架構:該模型保留了19個原生MTP頭,允許模型在單次推理中預測多個後續Token,大幅提升生成效率。
- KLD(Kullback-Leibler Divergence):0.0015的數值顯示微調後的權重分佈與原始預訓練模型高度一致,確保了模型在去除審查後的基礎能力未受損。
- 量化技術:支援NVFP4(NVIDIA 4-bit Floating Point),這是針對新一代GPU架構優化的量化格式,相比傳統整數量化,在處理權重分佈不均時具有更好的數值穩定性。
🔮 前景展望AI analysis grounded in cited sources
開源社群將加速採用NVFP4作為標準量化格式。
NVFP4在保持模型性能與降低顯存佔用之間取得了比Int4更好的平衡,將成為高階模型部署的首選。
MTP架構將成為未來高性能開源模型的主流配置。
Qwen3.6 A3B的成功證明了保留多Token預測頭能顯著提升模型在無審查環境下的生成品質與邏輯連貫性。
⏳ 時間線
2026-01
Qwen3.6系列模型正式發布,引入原生MTP架構。
2026-03
社群開始針對Qwen3.6進行A3B架構的實驗性微調。
2026-05
Qwen3.6 35B A3B完整MTP無審查版本正式釋出。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/LocalLLaMA ↗