Nemotron 3 Super 在 Bedrock 上推出

🔑 增強重點摘要

• •Nemotron 3 Super 採用 LatentMoE 混合架構，結合 Mamba-2、MoE 與注意力層，總參數 120B（活躍 12B），支援高達 1M 令牌上下文長度。
• •模型在 8x B200 GPU 上，使用 vLLM 實現比 GPT-OSS-120B 高 2.2 倍、Qwen3.5-122B 高 7.5 倍的推論吞吐量，並在 Terminal-Bench Hard 得分 29%、GDPval-AA ELO 1027。
• •Nemotron 3 Super 預訓練於 NVFP4 精度，在 Blackwell 平台上比 Hopper 的 FP8 快 4 倍，且在 DeepResearch Bench 排行榜上位居第一。

🛠️ 技術深入

• •架構：LatentMoE（潛在混合專家），交錯 Mamba-2 與 MoE 層，選用注意力錨點；每前向傳遞活躍 12.7B 參數（總 120.6B），top-22 路由激活 4 專家。
• •創新：Multi-Token Prediction (MTP) 層支援原生推測解碼，提升 3 倍推論速度；NVFP4 預訓練（權重、激活、梯度），嵌入與關鍵層用 BF16/MXFP8 穩定。
• •硬體配置：最小 8x H100-80GB；vLLM 設定包括 Tensor Parallel Size=2、Max Model Length=65,536、GPU 記憶體利用率 90-95%、KV Cache fp8/auto、FLASH_ATTN 後端。
• •語言支援：英語、法語、德語、義大利語、日語、西班牙語、中文；最佳應用：代理工作流、長上下文推理、工具使用、RAG。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線