無審查 Qwen 3.5 9B 從 Claude Opus 蒸餾版

🔑 增強重點摘要

• •Qwen3.5-9B 採用混合架構，包含 Gated Delta Networks 與 Gated Attention，每層為 8×(3×DeltaNet→FFN→1×Attention→FFN) 模式，隱藏維度 4096 與 32 層。[1][2]
• •模型支援原生 262,144 令牌上下文長度，可擴展至 1,010,000 令牌，並涵蓋 201 種語言與方言。[2]
• •在 GPQA Diamond 基準得分 81.7、長上下文 LongBench v2 得分 55.2，超越 Qwen3-30B 等更大模型。[4]

🛠️ 技術深入

• •參數規模：9B 稠密模型，100% 活躍參數，無 MoE 稀疏變體。[1]
• •架構細節：隱藏維度 4096、FFN 中間維度 12288、層數 32；Gated DeltaNet 使用 32 V-heads 與 16 QK-heads；佈局為 8×(3×(Gated DeltaNet → FFN) → 1×(Gated Attention → FFN))。[1][2]
• •訓練特點：多模態早期融合訓練、百萬代理規模 RL、多步 MTP 訓練、近 100% 多模態訓練效率。[2]
• •推理效能：Q8 量化下 RTX 3060 達 116.5 tokens/s (9B)，支援 Ollama、vLLM 等框架，Apache 2.0 授權開放權重。[2][3][5]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線