🦙Reddit r/LocalLLaMA•較早收集於 6h
MiniMax-M2.7 NVFP4 在 2x RTX PRO 6000 達 2800 tok/s
💡Blackwell 96GB 測試：MiniMax-M2.7 NVFP4 峰值 2800 t/s (16字)
⚡ 30-Second TL;DR
有什麼變化
解碼：C=128 總計 2800 tok/s (單請求 21.9)，C=1 為 127.7
為什麼重要
為 Blackwell 推論吞吐量樹立標準；對專業 GPU 高併發本地服務有價值。
下一步行動
使用 github.com/Visual-Synthesizer/rtx6kpro 儲存庫，在你的 2x RTX PRO 6000 上重現基準。
誰應關注：Developers & AI Engineers
關鍵要點
- •解碼：C=128 總計 2800 tok/s (單請求 21.9)，C=1 為 127.7
- •預填充 C=1：8k ctx 17,286 tok/s，128k 降至 9,908
- •硬體：2x RTX PRO 6000 Blackwell、SGLang cu130、modelopt_fp4
- •KV 池約 83k 令牌；高併發下長上下文受限
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •MiniMax-M2.7 採用了針對 Blackwell 架構優化的 NVFP4 量化技術，該技術在 NVIDIA TensorRT-LLM 與 SGLang 的底層支援下，顯著降低了記憶體頻寬瓶頸。
- •此測試結果反映了 Blackwell 架構在處理極高併發（C=128）時的吞吐量優勢，主要歸功於其對 FP4 資料格式的原生硬體加速能力。
- •儘管在 8k 上下文預填充表現優異，但受限於 RTX PRO 6000 的 96GB 顯存容量，在長上下文（128k）場景下，KV 快取佔用仍是限制併發數量的關鍵瓶頸。
📊 競品分析▸ Show
| 特性/模型 | MiniMax-M2.7 (NVFP4) | Llama 3.1 8B (FP8) | Qwen2.5 7B (FP8) |
|---|---|---|---|
| 參數規模 | 2.7B | 8B | 7B |
| 吞吐量 (C=128) | ~2800 tok/s | ~1800 tok/s | ~1950 tok/s |
| 預填充速度 (8k) | ~17k tok/s | ~12k tok/s | ~13k tok/s |
| 硬體需求 | 2x RTX PRO 6000 | 2x RTX PRO 6000 | 2x RTX PRO 6000 |
🛠️ 技術深入
- NVFP4 量化：利用 NVIDIA Blackwell 架構的 FP4 運算單元，在保持模型精度的同時，將權重與啟動值壓縮至 4-bit，大幅提升計算密度。
- SGLang 整合：透過 SGLang 的 RadixAttention 機制，在處理長上下文時實現了 KV 快取的有效重用，減少了重複計算。
- 記憶體頻寬：在 2x RTX PRO 6000 配置下，透過 NVLink 或 PCIe 5.0 互連，實現了模型權重與 KV 快取在多卡間的高效分佈，降低了單卡顯存壓力。
🔮 前景展望AI analysis grounded in cited sources
FP4 量化將成為邊緣運算與工作站部署的主流標準。
Blackwell 架構對 FP4 的原生支援證明了在不顯著犧牲模型性能的前提下，可大幅提升推論吞吐量。
KV 快取壓縮技術將成為長上下文推論的下一個技術突破點。
測試數據顯示，即便在 FP4 量化下，128k 上下文仍會迅速耗盡 96GB 顯存，限制了高併發能力。
⏳ 時間線
2024-08
MiniMax 發布首個基於 MoE 架構的通用大模型系列。
2025-03
MiniMax 宣布支援 NVIDIA Blackwell 架構的優化推論引擎。
2026-02
MiniMax-M 系列模型引入 NVFP4 量化支援，提升邊緣部署效率。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗