無審查 Qwen3.5-4B 積極版 GGUF 發布

#uncensored#gguf#multimodal#qwenqwen3.5-4b-uncensored-aggressiveqwen3.5-4bhuggingfacellama.cpp

💡零拒絕 4B 多模態 LLM，本地使用無能力損失。（28字）

⚡ 30-Second TL;DR

有什麼變化

4B 密集參數、32 層、混合 Gated DeltaNet 注意力機制

為什麼重要

此發布允許本地部署高效、無拒絕的小型 LLM，適合邊緣設備和注重隱私的應用。它讓先進無審查模型更容易取得，無需微調損失。

下一步行動

從 https://huggingface.co/HauhauCS/Qwen3.5-4B-Uncensored-HauhauCS-Aggressive 下載 Q4_K_M 量化版，並在 llama.cpp 中測試。

誰應關注：Developers & AI Engineers

背景與延伸：來自公開資料，非原文內容。引用 7 個來源。

•Qwen3.5 系列於 2026 年 2 月 16 日發布，首個版本為 397B-A17B MoE 模型，後續將推出更多尺寸[7]，顯示 Alibaba 正在快速擴展模型家族覆蓋範圍。
•Qwen3.5 模型在量化工具支援方面存在重大挑戰：AutoRound、LLM Compressor 和 vLLM 穩定版本均不完全相容，需要使用夜間版本或自訂修復才能運行[1]。
•Qwen3 系列引入混合思考模式架構，允許使用者在「思考模式」（深度推理）和「非思考模式」（快速回應）之間切換，4B 模型性能可匹敵 Qwen2.5-72B-Instruct[2][3]。

Qwen3.5 架構與量化支援

基礎架構：Qwen3.5 採用混合 Gated DeltaNet 注意力機制，支援 262K 原生上下文長度[4]
量化相容性問題：
- AutoRound 可量化 Qwen3.5 MoE，但輸出無法在 vLLM 穩定版載入[1]
- LLM Compressor 與 Transformers v5（Qwen3.5 必需版本）不相容[1]
- vLLM 穩定版本不支援 Qwen3.5，需使用夜間版本[1]
量化效能：2-bit 量化（如 UD-IQ2_M，~137GB）相比原始模型性能差異在基準測試誤差範圍內[1]
推理速度：M2 MacBook Pro 上 4B 模型可達 50+ tokens/秒，使用約 4.3GB 系統記憶體[5]
GGUF 量化選項：Q4_K_M (2.6GB)、Q6_K (3.3GB)、Q8_0 (4.2GB)、BF16 (7.9GB)，相容 llama.cpp、LM Studio、koboldcpp[4]