Together GPU Clusters 新增自動擴展與自癒功能

🔑 增強重點摘要

• •Together AI 於 2025 年 9 月推出 Instant Clusters 服務，支援從單一 8 GPU 節點到 4,000+ GPU 的大規模叢集，具備預先配置的驅動程式、排程器和 InfiniBand 互連，可在數分鐘內部署[1][2][3]
• •Together AI 的 GPU 叢集整合 Kubernetes 和 Slurm 編排工具，支援 NVIDIA H100、H200、B200 和 GB200 GPU，並提供靈活的租賃期限（3-90 天）和按小時計費模式[2][3]
• •Together AI 於 2026 年 3 月 5 日發布 FlashAttention-4 核心優化，在長序列長度上實現高達 4 倍的效能提升，並推出新的強化學習 API 支援全球分散式訓練管道[6]

🛠️ 技術深入

• •Instant Clusters 預先配置組件：GPU Operator、NVIDIA Network Operator、InfiniBand 互連、Terraform 支援，以及叢集重新掛載功能支援間歇性訓練工作負載[1]
• •硬體驗證流程：Together AI 在叢集部署前執行硬體檢查、壓力測試和節點間通訊驗證，例如 8 節點 64 GPU 叢集會逐一預測試每個節點[1]
• •效能優化：使用 Together Kernel Collection (TKC) 優化的 70B 參數 Llama 模型在 NVIDIA HGX B200 上達到 15,264 tokens/second/GPU，相比 H100 的 8,080 tokens/second 提升 90%[3]
• •強化學習基礎設施：權重分發在資料中心內完成於數秒內，全球分散式規模下在一分鐘內完成同步，超過 70% 的強化學習牆鐘時間用於推論/推出階段[5]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線