Nemotron 3 4B 基準測試落後 Qwen 3.5 4B 令人失望

🔑 增強重點摘要

• •Nemotron 3 Nano 30B A3B 於 2025-12-15 發布，總參數 32B，推理時僅激活 3.6B，知識截止至 2025-11-28[1][3]。
• •Qwen3.5-4B 於 2026-03-02 發布，支持多模態輸入如圖像，而 Nemotron 3 Nano 僅限文字[1][4]。
• •在標準基準中，Nemotron 3 Nano 在 LiveCodeBench v6 和 WMT24++ 優於 Qwen3.5-4B，但在 GPQA、MMLU-Pro 和 MMLU-ProX 落後[1]。
• •Nemotron 3 Super 採用混合 Mamba-2 + Transformer + LatentMoE 架構，上下文視窗達 1M tokens，在 SWE-Bench Verified 得分 60.47%[2][8]。

🛠️ 技術深入

• •Nemotron 3 Nano 使用 Mixture-of-Experts (MoE) 架構，總參數 31.6B，推理時激活 3.6B 參數，支持 1000k tokens 上下文視窗[3][4]。
• •Nemotron 3 Super 為混合架構：Mamba-2 + Transformer + LatentMoE，總參數 120B，激活 12B (10%)，原生支持 1M tokens 上下文[2]。
• •NVIDIA 使用 NVFP4 精準度預訓練 Nemotron 3 Nano，提升效率，與 BF16 比較在 1T tokens 訓練中表現優異[8]。
• •Qwen3.5-4B 支持多模態輸入，包括圖像，適合混合應用[1][4]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線