Search

Tag: #distributed-training23 results

FedRE：利用「糾纏」解決聯邦學習三難困境

來自中國信通院與清華大學的研究團隊提出了 FedRE，這是一個旨在平衡聯邦學習中隱私、通訊效率與模型效能的新框架。該方法利用基於「糾纏」的機制，克服了分散式 AI 訓練中固有的權衡難題。

量子位Media•May 18#federated-learning#distributed-training

NCCL Inspector 提升即時 GPU 效能監控

NVIDIA 的 NCCL Inspector 提供輕量級、即時效能監控，用於 NCCL 的分散式深度學習 GPU 間通訊。它加速除錯，精準定位運算、通訊、特定 rank 或硬體問題。此工具與 Prometheus 整合，提供持續可觀測性。

NVIDIA Developer BlogOfficial•May 7#gpu-monitoring#distributed-training#debugging

DeepSeek 更新 DeepGEMM 支援 Mega MoE

DeepSeek 更新其 DeepGEMM 儲存庫，新增對 Mega MoE 的測試支援，包括 P4 量化、分佈式通訊、Blackwell 適配以及 HyperConnection 訓練。這暗示正準備部署比 V3 更大的 MoE 模型，可能為 DeepSeek V4，需要 FP4 以實現高效推論。此更新僅限 DeepGEMM 開發，與內部模型發布無關。

Reddit r/LocalLLaMACommunity•Apr 16#moe#fp4#blackwell

Monarch：通往超級電腦訓練的 API

Monarch 是一款新 API，能簡化在巨型叢集上執行分散式訓練任務。它特別適用於分散式強化學習等複雜設定。此工具解決大型訓練除錯的關鍵挑戰。

PyTorch BlogMedia•Apr 8#distributed-training#supercomputer

AWS HyperPod 將地震模型訓練縮至5天

TGS 利用 Amazon SageMaker HyperPod 實現 Vision Transformer 基礎地震基礎模型 (SFM) 的近線性分散式訓練縮放。此方法將訓練時間從 6 個月縮短至 5 天。同時擴展上下文窗口，能分析以往不可能的大型地震體積。

AWS Machine Learning BlogOfficial•Apr 2#distributed-training#seismic-models#context-windows

LLM訓練LLM：72B分散訓練與CV挑戰

ImportAI 第449期報導LLM訓練其他LLM、成功的72B參數分散式訓練執行，以及研究顯示電腦視覺比生成文字更難。同時探討AI是否會引發政治空窗期。

Import AIMedia•Mar 16#llm-training#distributed-training#computer-vision

使用 veRL 和 Ray 在 SageMaker 訓練 CodeFu-7B

這篇文章展示如何使用 veRL 的 GRPO 在 SageMaker 管理的 Ray 分佈式叢集上訓練 CodeFu-7B，一個專為競賽程式設計的 70 億參數模型。它涵蓋資料準備、分佈式訓練設定和全面觀測性。此統一方法為複雜 RL 訓練工作負載提供計算規模和開發者體驗。

AWS Machine Learning BlogOfficial•Feb 24#distributed-training#rl-optimization