Mistral 加入 Nvidia Nemotron 聯盟開發開源 AI

🔑 增強重點摘要

• •Mistral AI 與 NVIDIA 合作推出 NeMo 12B 模型，具有高達 128,000 tokens 的上下文視窗，並在推理、世界知識和程式碼準確性上達到同尺寸類別的領先性能。[1]
• •NeMo 模型支援訓練時的量化意識，可實現 FP8 推理而不損害性能，並以 NVIDIA NIM 推理微服務形式提供，方便 NVIDIA AI 生態部署。[1]
• •NVIDIA Nemotron 模型家族包括 Nemotron 3 Super（120B 總參數、12B 活躍參數），結合 Mamba、Transformer 和 MoE 架構，用於企業多代理 AI 工作負載如軟體開發和網路安全。[2]

🛠️ 技術深入

• •NeMo 為 12B 參數模型，使用標準架構，可無縫替換 Mistral 7B 系統，並提供預訓練和指令微調檢查點，採用 Apache 2.0 授權。[1]
• •具備多語言能力、量化意識訓練支援 FP8 推理，以及與 NVIDIA NIM 整合以簡化部署。[1]
• •Nemotron 3 Super 結合 Mamba 序列建模、Transformer 注意力和 MoE 路由，提供更高吞吐量、更低延遲和更好記憶體效率，適用長上下文多步驟工作負載。[2]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線