🤝Together AI Blog•較早收集於 16h
DAS 加速 RL 滾動高達 50%
💡RL 滾動加速 50%，獎勵無損 – 後訓練效率關鍵。（38字）
⚡ 30-Second TL;DR
有什麼變化
RL 滾動加速高達 50%
為什麼重要
加速 RLHF 和對齊工作流程，降低訓練大型模型的計算成本和迭代時間。
下一步行動
在 Together AI 平台上測試 DAS，用於下一個 RL 後訓練實驗。
誰應關注：Researchers & Academics
關鍵要點
- •RL 滾動加速高達 50%
- •修復後訓練滾動瓶頸
- •自適應分布感知推測解碼
- •獎勵品質零衰減
🧠 深度解析
本篇為 AI 生成分析，非原文內容。
🔑 增強重點摘要
- •DAS 技術透過在分佈式環境中動態調整推測解碼的草稿模型（Draft Model）與目標模型（Target Model）之間的同步，解決了傳統推測解碼在多節點通訊延遲下的效率損失問題。
- •該技術特別針對強化學習（RL）後訓練階段中，因需要頻繁進行滾動（Rollout）採樣而導致的計算資源浪費，透過減少對目標模型的高成本推理次數來優化吞吐量。
- •Together AI 的實作採用了自適應機制，能根據當前的網路頻寬與計算負載，即時調整推測長度，確保在加速的同時維持與原始模型一致的獎勵分佈品質。
📊 競品分析▸ Show
| 特性 | Together AI (DAS) | vLLM (Speculative Decoding) | NVIDIA TensorRT-LLM |
|---|---|---|---|
| 核心優勢 | 分佈式環境下的 RL 滾動加速 | 單節點推測解碼生態豐富 | 硬體層級深度優化 |
| 適用場景 | 大規模 RL 後訓練 | 通用推理服務 | 高效能生產環境部署 |
| 獎勵品質 | 零衰減 (保證) | 取決於草稿模型 | 取決於量化策略 |
🛠️ 技術深入
- 架構機制：DAS 利用分佈式推測解碼（Distributed Speculative Decoding），將草稿模型分佈在多個計算節點上，並行產生多個候選序列。
- 自適應邏輯：系統監控目標模型與草稿模型的驗證通過率（Acceptance Rate），動態調整推測長度（Draft Length）以平衡計算與通訊開銷。
- RL 整合：針對 RL 滾動流程，DAS 透過減少與環境互動時的同步等待時間，直接提升了每秒採樣數（Samples Per Second）。
- 通訊優化：利用 Together AI 的底層網路堆疊，最小化節點間傳輸草稿 Token 的延遲。
🔮 前景展望AI analysis grounded in cited sources
RLHF 訓練成本將顯著下降
透過 DAS 加速滾動過程，訓練週期縮短將直接降低雲端 GPU 的租賃成本。
推測解碼將成為 RL 後訓練的標準配置
在獎勵品質零衰減的前提下，效能提升將推動業界廣泛採用此類加速技術以應對更複雜的模型訓練。
⏳ 時間線
2023-06
Together AI 推出其分佈式推理引擎，為後續推測解碼技術奠定基礎。
2024-02
Together AI 發布關於推測解碼在生產環境中應用的技術白皮書。
2026-04
Together AI 正式發表分佈感知推測解碼 (DAS) 技術，專注於 RL 滾動加速。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Together AI Blog ↗
每週 AI 簡報
每週一封，可隨時退訂。