螞蟻集團與清華開源 AReaL v1.0 代理強化學習框架

🔑 增強重點摘要

• •AReaL 是首個完全非同步的訓練與推理解耦大型模型強化學習系統，讓代理透過真實任務互動接收回饋並持續優化決策。[1][2]
• •引入原生訓練引擎 Archon，基於 PyTorch 實現完整的 5D 平行化（資料平行、管線平行、張量平行、上下文平行及專家平行），降低安裝與除錯門檻。[1]
• •整合 AI 輔助開發系統，提供從規劃、編碼、驗證到 PR 建立的端到端支援，尤其在 MoE 平行化及記憶體優化等核心模組提供專家級指導。[1]

🛠️ 技術深入

• •透過 Proxy Worker 中間層實現代理一鍵接入，開發者僅需修改一個請求位址即可無需程式碼變更連接訓練系統。[1]
• •原生訓練引擎 Archon 支援 PyTorch 原生功能的 5D 平行化：資料平行 (Data Parallelism)、管線平行 (Pipeline Parallelism)、張量平行 (Tensor Parallelism)、上下文平行 (Context Parallelism) 及專家平行 (Expert Parallelism)。[1]
• •AReaL-lite 為輕量級演算法優先程式碼庫，支援非同步 RL 訓練，包括解耦 PPO 損失、rollout 中斷及陳舊性控制，適用於 Qwen3 訓練並簡化 Ray 啟動流程。[6][7]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線