Nvidia 移除 Nemotron 許可中的 rug-pull 條款

🔑 增強重點摘要

• •Nemotron 3 Super 採用混合 Mamba2-Transformer Latent MoE 架構，總參數 120B 但推理時僅啟用 12B 參數，提升效率。
• •模型支援 NVFP4 原生預訓練，在 NVIDIA Blackwell 上比 FP8 在 H100 上快 4 倍，記憶體需求大幅降低。
• •透過 21 個強化學習環境訓練，超過 120 萬次 rollout，在 PinchBench 基準測試中得分 85.6%，為同級最佳開源模型。
• •發布包含超過 10 兆 token 訓練資料、完整配方及 GitHub 資源，可在 Hugging Face、NVIDIA NIM 等多平台部署。

🛠️ 技術深入

• •架構細節：Mamba2-Transformer 混合 Latent Mixture of Experts (LatentMoE)，結合 Multi-Token Prediction (MTP)，Mamba 層提供 4 倍記憶體與運算效率，Transformer 層負責精準推理。
• •參數配置：總 120B 參數，推理激活 12B；支援 NVFP4、BF16、FP8 變體。
• •訓練資料：預訓練截止 2025 年 6 月，後訓練至 2026 年 2 月，使用合成資料超過 10 兆 token，21 個 RL 環境。
• •硬體支援：NVIDIA Ampere (A100)、Hopper (H100-80GB)、Blackwell；運行於 NeMo 25.11.01，Linux OS。
• •推理優化：reasoning mode 可經 chat template 切換 (enable_thinking=True/False)，建議 temperature=1.0, top_p=0.95。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線