Mistral 119B NVFP4 在 RTX Pro 6000 上的基準測試

🔑 增強重點摘要

• •Mistral Small 4 採用 MoE 架構，擁有 128 個專家，每次 token 僅激活 6.5B 參數[1][2][3]。
• •模型支援多模態輸入，可處理文字與影像，並具備可切換的推理模式與原生函數呼叫[1][3]。
• •相較 Mistral Small 3，在延遲優化設定下端到端完成時間減少 40%，吞吐量優化下每秒處理 3 倍請求[1][2][3]。
• •於 AA LCR 基準測試中得分 0.72，輸出僅 1.6K 字元，即優於需 5.8-6.1K 字元的 Qwen 模型[2][3]。
• •於 2026 年 3 月 16 日 NVIDIA GTC 期間發布，Apache 2.0 授權，整合 NVFP4 量化版優化 NVIDIA 硬體[4]。

🛠️ 技術深入

• •架構類型：Transformer 混合專家 (MoE)，128 專家、4 個活躍專家[1][2][3]。
• •總參數 119B，每次 token 激活 6.5B 參數，上下文長度 256k[1][2][3]。
• •多模態：接受文字與影像輸入，輸出文字；支援推理模式切換、函數呼叫、多語言及系統提示[1][3]。
• •效率優化：支援推測解碼 (eagle head)、NVFP4 4-bit float 量化；推理引擎 vLLM (張量並行、工具呼叫)、Hugging Face Transformers[2][3]。
• •支援硬體：NVIDIA Ampere (A100)、Blackwell (B100/B200/GB200)、Hopper (H100/H200)[2]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線