🟩NVIDIA Developer Blog•較早收集於 30m
NVIDIA 極致共同設計締造全新 MLPerf 推論紀錄
#benchmarks#ai-factorymlperf-inferencenvidiamlperf-inference
💡NVIDIA MLPerf 紀錄揭示共同設計如何提升真實 token 產出—AI 工廠 ROI 關鍵 (42字)
⚡ 30-Second TL;DR
有什麼變化
共同設計硬體、軟體、模型實現最高 AI 工廠產出
為什麼重要
這些紀錄驗證 NVIDIA 共同設計的優越性，讓 AI 從業人員優化工廠以提升營收與效率。競爭對手需匹配此整合方法以維持 token 產出競爭力。
下一步行動
使用 MLPerf Inference v6.0 結果基準測試您的 NVIDIA 系統，以優化 token 產出。
誰應關注：Developers & AI Engineers
關鍵要點
- •共同設計硬體、軟體、模型實現最高 AI 工廠產出
- •在 MLPerf Inference v6.0 基準中展現最低 token 成本
- •超越峰值晶片規格，聚焦真實世界 token 產出
- •嚴格基準測試衡量 AI 推論效能以驅動營收
🧠 深度解析
本篇為 AI 生成分析，非原文內容。
🔑 增強重點摘要
- •MLPerf Inference v6.0 基準測試引入了針對大型語言模型（LLM）的動態批次處理（Dynamic Batching）與 KV 快取優化指標，反映了 NVIDIA 在處理長上下文推論時的記憶體管理優勢。
- •NVIDIA 在本次基準測試中展示了其 TensorRT-LLM 軟體堆疊與 Blackwell 架構 GPU 的深度整合，特別是在 FP8 量化精度下的吞吐量提升，顯著降低了每個 token 的運算能耗。
- •此次測試結果顯示，NVIDIA 透過與雲端服務供應商（CSP）的共同設計，成功在多節點叢集環境下實現了近乎線性的推論擴展性，解決了大規模部署中的通訊瓶頸問題。
📊 競品分析▸ Show
| 特性/基準 | NVIDIA (Blackwell/Hopper) | AMD (Instinct MI300X) | Google (TPU v5p) |
|---|---|---|---|
| MLPerf 推論效能 | 業界領先，軟體生態完整 | 具備高記憶體頻寬優勢，持續追趕 | 專用架構，在特定模型表現優異 |
| 軟體生態 | CUDA/TensorRT-LLM (極高成熟度) | ROCm (快速成長中) | JAX/XLA (高度優化) |
| 成本效益 | 透過共同設計優化 Token 成本 | 主打性價比與記憶體容量 | 雲端原生，整合 Google Cloud 服務 |
🛠️ 技術深入
- 採用 Blackwell 架構的第二代 Transformer 引擎，支援更廣泛的 FP8 與微縮放（Micro-scaling）格式，提升推論精度與速度。
- 整合 NVLink Switch System，在多 GPU 節點間提供高達 1.8TB/s 的雙向頻寬，大幅降低推論時的資料傳輸延遲。
- TensorRT-LLM 軟體層引入了針對長序列推論的「分頁注意力機制」（PagedAttention）優化，有效減少記憶體碎片化。
- 針對 MLPerf v6.0 的基準模型（如 Llama 3.1 405B），利用了權重壓縮技術與高效能核心算子，實現了比前代架構高出 3 倍以上的推論吞吐量。
🔮 前景展望AI analysis grounded in cited sources
AI 推論成本將在 2026 年底前下降 40% 以上。
隨著硬體架構與軟體共同設計的成熟，單位 token 的運算能耗與硬體利用率將持續優化。
企業級 AI 部署將從單一 GPU 轉向大規模叢集推論。
MLPerf v6.0 證實了多節點共同設計能有效解決大規模模型推論的延遲與擴展性問題。
⏳ 時間線
2022-06
NVIDIA 首次在 MLPerf 推論基準測試中展現 Hopper 架構的領先效能。
2024-03
NVIDIA 正式發表 Blackwell 架構，強調針對生成式 AI 推論的共同設計優化。
2025-09
NVIDIA 推出 TensorRT-LLM 升級版，大幅強化對長上下文推論的支援。
2026-03
MLPerf Inference v6.0 正式發布，NVIDIA 憑藉共同設計締造全新效能紀錄。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： NVIDIA Developer Blog ↗
每週 AI 簡報
每週一封，可隨時退訂。