🤗Hugging Face Blog•較早收集於 19h
Ulysses 序列並行：百萬 Token 上下文訓練
#long-context#training-parallelism#sequence-modelingulysses-sequence-parallelismulysses-sequence-parallelismhugging-face
💡新方法訓練百萬 Token 上下文 – 長 LLM 研究突破（22字元）
⚡ 30-Second TL;DR
有什麼變化
處理百萬 Token 上下文長度
為什麼重要
加速超長上下文模型研究，提升 LLM 的推理與擷取能力。降低開源長上下文訓練門檻。
下一步行動
將 Ulysses 整合至 Hugging Face 訓練管線，用於長上下文實驗。
誰應關注：Researchers & Academics
關鍵要點
- •處理百萬 Token 上下文長度
- •序列級並行提升效率
- •降低訓練記憶體使用量
🧠 深度解析
背景與延伸：來自公開資料，非原文內容。引用 7 個來源。
🔑 增強重點摘要
- •Ulysses 整合 DeepSpeed 與 Hugging Face Transformers，使用序列分片與 all-to-all 集體通訊實現注意力計算[1][2]。
- •Arctic Long Sequence Training (ALST) 結合激活檢查點卸載至 CPU、Tiled MLP 計算及 Liger-kernel，提升 Llama-8B 模型上下文長度超過 400 倍[1][2]。
- •支援與 ZeRO 優化器、FlashAttention 2 等高效注意力內核無縫整合，並可與管線並行或環形注意力正交組合[2][6]。
- •在 Hugging Face Accelerate 中透過 position_ids 實現序列分片，避免注意力遮罩複製問題[3][6]。
📊 競品分析▸ Show
| 技術 | 主要特點 | 記憶體效率 | 上下文長度 (Llama-8B, 8xH100) | 速度 |
|---|---|---|---|---|
| Ulysses | 序列並行 + all-to-all | 高 (ZeRO3 整合) | >1M tokens | 基準匹配 |
| Ring Attention | P2P 通訊 | 中等 | 長序列 | 類似 |
| UPipe | 注意力頭級分塊 | 極高 (減87.5%) | 5M tokens | 匹配 Ulysses |
| Odysseus | Attention/MLP 分離並行 | 優於 Ulysses | 長序列優 | 類似 TP-SP |
🛠️ 技術深入
- •核心演算法：沿序列長度分片輸入，每 GPU 處理局部片段，非注意力層獨立運算；注意力層使用兩階段 all-to-all 通訊重建全局上下文[2]。
- •Tiled MLP 實現：猴子補丁替換 LlamaMLP.forward，使用 num_shards = ceil(seqlen / hidden)，跨 rank all_reduce 確保同步，並應用 TiledMLP.apply[1]。
- •注意力模組：注入 UlyssesSPAttentionHF 後端，DistributedAttention 包裝本地注意力，透過 sequence_parallel_group 協調[1][7]。
- •DataLoader 適配器處理序列分片，損失計算按片段分擔；需注意力頭數可被並行度整除[3][6]。
- •與 ZeRO-3 組合：權重分片，支援 H100 叢集訓練 Llama-8B 超長上下文[2]。
🔮 前景展望AI analysis grounded in cited sources
⏳ 時間線
2023-01
DeepSpeed 引入 Ulysses 序列並行基礎技術[7]。
2023-12
Jacobs et al. 發表相關序列並行研究[2]。
2024-01
Fang et al. 擴展 Ulysses 至多並行設定[2]。
2024-10
Tsaris et al. 優化 Ulysses 整合[2]。
2025-06
Bekman et al. 發佈 ALST，展示 400 倍上下文提升[1][2]。
2026-03
Hugging Face 正式推出 Ulysses 序列並行技術[原文]。
📎 來源 (7)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Hugging Face Blog ↗
每週 AI 簡報
每週一封，可隨時退訂。