來源Meta Engineering Blog•較早收集於 30m
Meta 將 GEM 訓練效率提升一倍
#distributed-training#gpu-efficiency#mfugemmetageminstagramfacebook
了解 Meta 如何將廣告模型擴展至數千張 GPU，並達到 20–25% MFU。
30 秒速覽
有什麼變化
GEM 是 Meta 用於 Instagram 與 Facebook 廣告推薦的基礎模型。
為什麼重要
這些成果顯示，大型推薦模型不只能依賴更大的模型或資料集，也能大幅受惠於基礎設施與系統最佳化。Meta 的做法可為訓練大規模生產模型的企業提供有用的效率基準。
下一步行動
使用 NVIDIA Nsight Systems 分析下一次分散式訓練，並以 20–25% MFU 作為初始效率基準。
誰應關注：Researchers & Academics
關鍵要點
- •GEM 是 Meta 用於 Instagram 與 Facebook 廣告推薦的基礎模型。
- •其訓練系統已擴展至數千張最新世代 GPU，達到 LLM 級別規模。
- •Meta 將端到端訓練效率提升一倍，達到 20–25% 的 Model FLOPs Utilization。
- •在維持更高計算效率的同時，訓練 FLOPs 增加了四倍。
深度解析
本篇為 AI 生成分析，非原文內容。
增強重點摘要
- •Meta 採用了基於 PyTorch 的 FSDP (Fully Sharded Data Parallel) 技術，並針對推薦系統特有的稀疏嵌入層（Sparse Embedding Layers）進行了專門的記憶體優化。
- •為了應對數千張 GPU 的通訊瓶頸，Meta 開發了自定義的通訊核心（Communication Kernels），顯著降低了 All-to-All 操作在大規模叢集中的延遲。
- •GEM 模型架構整合了多模態輸入，不僅處理傳統的用戶行為數據，還能即時處理廣告素材的視覺與文字特徵，這增加了訓練時的計算複雜度。
- •Meta 在此次優化中引入了混合精度訓練（Mixed Precision Training）的進階變體，在保持模型收斂穩定性的前提下，大幅減少了記憶體佔用。
- •該訓練系統利用了 Meta 自建的 AI 基礎設施（如 Grand Teton 伺服器平台），實現了硬體與軟體層面的深度協同設計。
競品分析
核心架構
- Meta (GEM)
- Transformer-based GEM
- Google (Ads AI)
- Deep Retrieval/Ranking
- ByteDance (推荐算法)
- 多模態推薦模型
訓練規模
- Meta (GEM)
- 數千 GPU (LLM 級別)
- Google (Ads AI)
- 超大規模 TPU 叢集
- ByteDance (推荐算法)
- 大規模 GPU/自研晶片
效率指標
- Meta (GEM)
- 20-25% MFU
- Google (Ads AI)
- 未公開 (高度優化)
- ByteDance (推荐算法)
- 未公開 (高度優化)
應用場景
- Meta (GEM)
- FB/IG 廣告推薦
- Google (Ads AI)
- Google Ads/Search
- ByteDance (推荐算法)
- TikTok/Douyin 推薦
| 特性 | Meta (GEM) | Google (Ads AI) | ByteDance (推荐算法) |
|---|---|---|---|
| 核心架構 | Transformer-based GEM | Deep Retrieval/Ranking | 多模態推薦模型 |
| 訓練規模 | 數千 GPU (LLM 級別) | 超大規模 TPU 叢集 | 大規模 GPU/自研晶片 |
| 效率指標 | 20-25% MFU | 未公開 (高度優化) | 未公開 (高度優化) |
| 應用場景 | FB/IG 廣告推薦 | Google Ads/Search | TikTok/Douyin 推薦 |
技術深入
- 採用了針對推薦系統優化的分層式平行處理架構，將稠密層（Dense Layers）與稀疏層（Sparse Layers）分開處理。
- 實作了動態負載平衡機制，解決了推薦模型中常見的 Embedding 存取不均問題。
- 使用了優化後的 NCCL 通訊庫配置，針對 Meta 的大規模 GPU 叢集拓撲進行了路徑規劃。
- 透過梯度檢查點（Gradient Checkpointing）技術，在有限的 GPU 記憶體內訓練更大規模的參數集。
- 導入了針對推薦任務的自定義算子（Custom Operators），減少了 Python 層面的開銷。
前景展望基於引用來源的 AI 分析
廣告推薦模型的訓練成本將在未來兩年內下降 40% 以上。
隨著 MFU 的提升與硬體利用率的優化，單位計算資源能處理的數據量將呈現指數級成長。
Meta 將會把 GEM 的訓練技術框架開源至 PyTorch 生態系統。
Meta 過去傾向於將其基礎設施優化成果回饋至開源社群，以建立行業標準並吸引人才。
時間線
2022-05
Meta 宣布將 AI 基礎設施轉向以 GPU 為主的統一架構。
2023-02
Meta 發布 LLaMA，展示了其在大規模模型訓練與分散式運算上的能力。
2024-01
Meta 宣布部署數十萬張 H100 GPU，為大規模推薦模型訓練奠定硬體基礎。
2025-06
Meta 內部開始大規模遷移廣告推薦系統至 GEM 架構。
2026-05
Meta 完成 GEM 訓練系統的關鍵效率優化，實現 20-25% MFU。
- 2022-05Meta 宣布將 AI 基礎設施轉向以 GPU 為主的統一架構。
- 2023-02Meta 發布 LLaMA，展示了其在大規模模型訓練與分散式運算上的能力。
- 2024-01Meta 宣布部署數十萬張 H100 GPU，為大規模推薦模型訓練奠定硬體基礎。
- 2025-06Meta 內部開始大規模遷移廣告推薦系統至 GEM 架構。
- 2026-05Meta 完成 GEM 訓練系統的關鍵效率優化，實現 20-25% MFU。
AI 週報
閱讀本週精選 AI 大事摘要 →
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Meta Engineering Blog ↗
每週電子報
每週一封，可隨時退訂。