🤝Together AI Blog•最新收集於 18h
Together AI 強化生產環境 GPU 叢集的可靠性
💡GPU 叢集的全新生產級功能：節點修復、OIDC 與更強大的 Slurm 可靠性。
⚡ 30-Second TL;DR
有什麼變化
實作被動健康檢查與自動化節點修復功能
為什麼重要
這些功能減少了執行大規模訓練任務團隊的停機時間與營運開銷。改進後的叢集管理確保了生產環境 AI 工作負載更穩定且可預測的效能。
下一步行動
設定您叢集的 OIDC 與啟動腳本，以自動化節點初始化並提升安全性。
誰應關注：Developers & AI Engineers
關鍵要點
- •實作被動健康檢查與自動化節點修復功能
- •提升 Slurm 可靠性以優化任務排程
- •新增 OIDC 支援與啟動腳本，增強叢集控制能力
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Together AI 透過整合 NVIDIA 的 DCGM (Data Center GPU Manager) 診斷工具，實現了對 GPU 硬體錯誤（如 ECC 錯誤或時脈異常）的即時監控與自動隔離。
- •該系統引入了基於 Kubernetes 的自定義控制器，能夠在檢測到節點故障時自動觸發 Slurm 節點狀態更新，從而減少人工介入的維運成本。
- •為了支援大規模分散式訓練，Together AI 優化了叢集網路拓撲感知能力，確保任務排程器能優先分配位於相同 InfiniBand 交換器群組內的節點。
- •新增的 OIDC (OpenID Connect) 整合不僅限於叢集存取，還支援細粒度的 API 金鑰管理，允許企業用戶針對不同專案設定存取權限。
- •啟動腳本功能支援環境變數的動態注入，使得開發者能夠在節點啟動時自動掛載特定的儲存卷或配置自定義的 CUDA 環境變數。
📊 競品分析▸ Show
| 特色/競爭對手 | Together AI | Lambda Labs | CoreWeave |
|---|---|---|---|
| 核心優勢 | 推論與訓練優化、開源模型整合 | 高性價比 GPU 租賃 | 雲原生 GPU 叢集與彈性擴展 |
| 排程系統 | Slurm + 自研控制層 | 基礎 Kubernetes/Slurm | Kubernetes 原生排程 |
| 目標客群 | AI 開發者與企業級模型訓練 | 中小型 AI 團隊 | 大規模企業與渲染農場 |
🛠️ 技術深入
- 採用被動健康檢查機制，透過持續監控 GPU 記憶體頻寬與計算單元利用率，在效能低於閾值時自動標記節點為不可用。
- 整合 Slurm 的 'Node Health Check' (NHC) 腳本，確保在任務執行前完成硬體完整性驗證。
- 支援透過 OIDC 進行身份驗證的 API 網關，實現與企業現有 IAM (Identity and Access Management) 系統的無縫對接。
- 啟動腳本支援 Cloud-init 標準，允許使用者在節點配置階段執行複雜的容器映像檔預取 (Image Pre-pulling) 以縮短任務啟動時間。
🔮 前景展望AI analysis grounded in cited sources
Together AI 將進一步降低大規模分散式訓練的平均故障間隔時間 (MTBF)。
自動化節點修復與主動式健康檢查能顯著減少因單點硬體故障導致的整個訓練任務中斷。
企業用戶對 Together AI 的採用率將因 OIDC 整合而提升。
符合企業資安合規標準的身份驗證機制是大型組織導入 AI 基礎設施的必要條件。
⏳ 時間線
2023-06
Together AI 完成種子輪與 A 輪融資，正式推出雲端 GPU 平台。
2024-02
發布 Together Inference Engine，強調針對開源模型的高效能推論。
2024-11
宣布與多家硬體供應商合作，擴大 GPU 叢集規模以支援萬卡級訓練。
2025-05
推出企業級叢集管理工具，強化多租戶環境下的資源隔離能力。
2026-07
發布生產環境 GPU 叢集可靠性更新，強化 Slurm 整合與自動化修復。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Together AI Blog ↗