NVIDIA Nemotron 3 Super 現已在 Together AI 上線

🔑 增強重點摘要

• •Nemotron 3 Super 採用混合 Mamba-Transformer MoE 架構，結合 Latent MoE 技術提升專家專精與硬體效率[1][2][3]。
• •該模型使用 NVIDIA 4-bit NVFP4 精確度格式於 Blackwell 架構訓練，大幅降低記憶體需求並加速訓練而不損及準確性[1][2][3]。
• •相較 Nemotron 2，Nemotron 3 在 MoE 路由、吞吐量及推理令牌生成上顯著改善，並支援更長上下文長度[1][4]。
• •NVIDIA 釋出 NeMo Gym、NeMo RL 及 NeMo Evaluator 開源工具，支援多代理訓練與評估環境建置[5]。

🛠️ 技術深入

• •參數規模：約 100B 總參數，每令牌激活至多 10B 參數[1][3]。
• •架構：混合 Mamba-Transformer MoE，整合 Mamba 層處理長程依賴、Transformer 層精準推理及 MoE 路由提升效率[2][6]。
• •創新技術：Latent MoE（硬體感知專家設計）、Multi-Token Prediction (MTP) 層改善長文本生成效率、NVFP4 4-bit 訓練格式[2][3][6]。
• •訓練基礎：於 Blackwell 架構，使用超過 3 兆新獨特令牌訓練，後續監督微調及大規模 RL[4]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線