🟩NVIDIA Developer Blog•較早收集於 9m
NVIDIA FP8 高吞吐量強化學習訓練
💡LLM RL 訓練加速 2 倍：NVIDIA FP8 精度提升高吞吐量效率。（38 字元）
⚡ 30-Second TL;DR
有什麼變化
支援 GRPO 透過迭代 RL 反饋提升 LLM 推理
為什麼重要
此突破加速先進 LLM 的 RL 訓練，降低成本並縮短推理模型擴展時間。AI 從業者可在 NVIDIA 硬體上實現更高效率，影響 RLHF 工作流程。
下一步行動
使用開發者部落格指南，在 NVIDIA H100 GPU 上測試端到端 FP8 RL 訓練。
誰應關注：Researchers & Academics
關鍵要點
- •支援 GRPO 透過迭代 RL 反饋提升 LLM 推理
- •實現端到端 FP8 精度的高吞吐量訓練
- •將 RL 分為兩個高強度階段，超越監督微調
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •FP8 精度訓練透過將數值格式從 FP16/BF16 轉換為 8 位元，顯著降低了記憶體頻寬需求，並在 NVIDIA Hopper 架構 GPU 上實現了顯著的吞吐量提升。
- •GRPO (Group Relative Policy Optimization) 演算法透過在訓練過程中移除價值函數 (Value Function) 模型，大幅減少了記憶體佔用，這對於在有限的 GPU 記憶體中運行大規模 RL 訓練至關重要。
- •端到端 FP8 訓練不僅加速了訓練過程，還透過減少檢查點 (Checkpoint) 大小和通訊開銷，優化了大規模分佈式訓練集群的擴展效率。
📊 競品分析▸ Show
| 特性 | NVIDIA FP8 RL 訓練 | AMD ROCm/MI 系列 | Google TPU (JAX/XLA) |
|---|---|---|---|
| 精度支援 | 原生 FP8 (Hopper+) | 支援 FP8 (部分架構) | 支援 BFloat16/FP8 |
| 生態系 | CUDA/TensorRT-LLM | ROCm/PyTorch | JAX/XLA |
| 強化學習優化 | GRPO 深度整合 | 依賴通用框架優化 | 依賴 XLA 編譯器優化 |
🛠️ 技術深入
- 數值格式：採用 E4M3 (4 位元指數，3 位元尾數) 用於權重與激活，E5M2 用於梯度，以平衡動態範圍與精度。
- 記憶體優化：FP8 相比 FP16 可減少 50% 的記憶體佔用，允許在單一 GPU 上載入更大的模型參數或增加批次大小 (Batch Size)。
- 算子融合：利用 NVIDIA Transformer Engine 自動處理 FP8 轉換與縮放因子 (Scaling Factors) 的動態調整，無需手動調整超參數。
- 演算法架構：GRPO 透過對同一提示 (Prompt) 生成多個輸出並計算相對優勢，避免了傳統 PPO 需要額外維護一個與策略模型同等大小的 Critic 模型的開銷。
🔮 前景展望AI analysis grounded in cited sources
FP8 將成為大規模 LLM 強化學習訓練的行業標準。
隨著模型參數規模持續擴大，FP8 提供的記憶體與計算效率優勢已成為降低訓練成本與時間的關鍵瓶頸解決方案。
強化學習在 LLM 訓練中的佔比將超過監督微調 (SFT)。
透過 GRPO 等高效演算法，RL 訓練的穩定性與效率提升，使得模型能更有效地從推理過程中的自我修正中學習。
⏳ 時間線
2022-03
NVIDIA 發布 Hopper 架構，首次引入 Transformer Engine 與 FP8 加速支援。
2023-09
NVIDIA 發表論文與技術文件，詳細說明 FP8 在 Transformer 模型訓練中的數值穩定性。
2024-05
NVIDIA 擴展 TensorRT-LLM 對 FP8 推理與訓練的支援，強化大規模模型部署能力。
2025-02
學術界與業界開始廣泛採用 GRPO 演算法進行 LLM 的推理強化訓練。
2026-01
NVIDIA 宣布實現端到端 FP8 強化學習訓練流程，顯著提升訓練吞吐量。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： NVIDIA Developer Blog ↗