Nemotron 3 Nano 4B：高效本地 AI 的緊湊混合模型

🔑 增強重點摘要

• •採用混合 Mamba-Transformer MoE 架構，總參數 30B，每 token 僅激活 3B 參數，大幅提升效率。
• •支援 100 萬 token 上下文長度，適用於長文檔推理與多代理系統。
• •在代理基準如 SWE Bench、GPQA Diamond 與 AIME 2025 上領先，超越 GPT-OSS-20B 與 Qwen3-30B。
• •透過多 token 預測 (MTP) 實現 4 倍於 Nemotron 2 的 token 生成效率，並支援商業使用。

🛠️ 技術深入

• •架構：混合 Mamba-Transformer MoE，總 31.6B 參數，活躍 3.2B (含嵌入 3.6B)，使用 Latent MoE 捕捉細微模式。
• •上下文：1M token 視窗，支援長代理連貫性與跨文件推理。
• •創新：多 token 預測 (MTP) 單次前向傳遞生成多 token；思考預算控制避免過度思考，降低推理成本。
• •效能：比 Nemotron 2 高 4x token 吞吐量，推理 token 生成減少 60%；在 H200 上 8K 輸入/16K 輸出吞吐量高於競爭對手。
• •訓練：使用多樣 RL 環境，提升代理、推理與對話能力；支援多語言 (德、法、義等)。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線