SpaceX Rents Out AI Compute Due to Hardware Bottlenecks

•Colossus 1 的硬體瓶頸具體源於其與十英里外其他設施連接時遇到的網路延遲問題，以及內部混合使用不同世代的 Nvidia GPU（包括 Hopper、Blackwell 和較舊的加速器），導致整個叢集的效能受限於最慢的組件。
•Anthropic 租用 Colossus 1 的協議價值每月 12.5 億美元，三年總計約 450 億美元，這使 SpaceX 成為重要的 AI 算力供應商，此外，SpaceX 還與 Google 簽訂了每月 9.2 億美元的 Colossus 2 算力租賃協議。
•Colossus 1 數據中心位於孟菲斯一處改建的 Electrolux 工廠內，最初配備 10 萬塊 Nvidia H100 GPU，後來擴展，但其異構硬體配置被證明不適合 xAI 尖端 Grok 模型所需的統一、高效能訓練環境，而 Colossus 2 和 3 則計劃統一採用 Nvidia Blackwell 晶片。
•Anthropic 尋求此算力是為了應對其 Claude 模型日益增長的需求所導致的算力嚴重短缺，這已使其現有基礎設施不堪重負並導致用戶面臨使用限制。
•儘管面臨這些地面基礎設施挑戰，SpaceX 仍在積極推動「軌道 AI 算力」的長期戰略，計劃最早於 2028 年部署配備 GPU 的衛星，旨在建立太空數據中心。

📊 競品分析▸ Show

特性/模型	xAI Grok	Anthropic Claude
核心架構	Mixture-of-Experts (MoE)，Grok-1 擁有 3140 億參數，Grok 5 目標達到 10 兆參數。Grok 4.20 採用多代理架構（4-16 個代理內部辯論）。	Mixture-of-Experts (MoE) (例如 Claude 2.5 採用稀疏 MoE)。
訓練堆疊	JAX、Rust 和 Kubernetes，旨在實現極致性能、運算子融合和零開銷併發。	多雲、多晶片策略，使用 AWS Trainium、Google TPU 和 Nvidia GPU。
上下文窗口	Grok-1.5 支援 12.8 萬個 token，Grok 4.20 支援 200 萬個 token。	Claude 3 Opus 支援 20 萬個 token。
關鍵功能	整合 X 平台即時資訊，多代理架構顯著降低幻覺率（Grok 4.20 在 Omniscience 基準測試中達到 78% 的非幻覺分數）。	廣泛用於消費者、開發者和企業的 AI 助手。
程式碼代理	Grok Build，在 SWE-Bench Verified 基準測試中得分約 70.8%，每百萬輸入 token 定價 0.20 美元。	Claude Code。
算力租賃支出	N/A (作為出租方)	每月 12.5 億美元租用 Colossus 1，三年總計約 450 億美元。

Grok 模型架構：Grok-1 採用 Mixture-of-Experts (MoE) 架構，擁有 3140 億參數，每次查詢僅激活其中一小部分。Grok 4.20 進一步採用多代理架構，由 4 到 16 個專業 AI 代理在內部進行辯論，以降低幻覺率。
xAI 訓練基礎設施：xAI 建立了一個基於 JAX 和 Rust 的自訂堆疊，繞過 PyTorch 以實現極大規模訓練中的最大性能、運算子融合和零開銷併發。Rust 用於叢集編排，可在毫秒級別檢測節點故障。Kubernetes 則用於排程工作負載和抽象化 GPU 叢集。
Colossus 1 硬體配置：Colossus 1 包含多代 Nvidia 晶片，包括 Hopper 和 Blackwell 系統以及較舊的加速器。最初配備 10 萬塊 Nvidia H100 GPU，為 Grok 3 訓練擴展至 20 萬塊 H100。截至 2025 年 6 月，它擁有 15 萬塊 H100、5 萬塊 H200 和 3 萬塊 GB200 GPU。
Colossus 1 技術挑戰：該數據中心面臨延遲問題，原因在於其與十英里外其他設施連接時使用了老舊的網路基礎設施。硬體混搭（混合 GPU 世代）導致瓶頸，因為叢集整體效能受限於最慢的組件。
Colossus 2 和 3 規劃：為避免 Colossus 1 的問題，Colossus 2 和 3 計劃更統一地圍繞 Nvidia 的 Blackwell 晶片建造。
Colossus 1 功耗：Colossus 1 的功耗約為 300 兆瓦。

SpaceX 將成為主要的 AI 算力基礎設施提供商。

由於 Colossus 1 和 Colossus 2 的租賃協議，SpaceX 已從 AI 算力出租中獲得數十億美元的月收入，這表明其正在將 AI 基礎設施轉變為一項重要的收入來源。

xAI 的 Grok 模型開發可能會因基礎設施挑戰而面臨延遲或策略調整。

Colossus 1 的硬體瓶頸迫使 SpaceX 將其出租，這表明 xAI 在確保其最先進模型所需的統一、高效能訓練環境方面存在內部挑戰，可能需要更多時間來建立專用基礎設施。

軌道 AI 數據中心的概念將獲得更多關注和投資。

儘管面臨地面基礎設施挑戰，SpaceX 仍積極推動在 2028 年部署軌道 AI 算力衛星的計劃，這可能促使業界探索太空作為解決地球上算力、能源和冷卻限制的長期方案。

2023-03

Elon Musk 創立 xAI。

2023-11

xAI 首次宣布 Grok。

2024-07

Colossus 超級電腦在孟菲斯投入運營。

2024-09

Colossus 1 在孟菲斯的前 Electrolux 工廠啟動，用於訓練 Grok AI 模型。

2025-02

Grok 3 發布，並在 Colossus 上進行訓練。

2026-05

Anthropic 同意租用 Colossus 1 數據中心的全部算力。

SpaceX 因硬體瓶頸將 AI 算力出租給 Anthropic