馬斯克近期的戰略挫折

Tesla 全自動駕駛 (FSD) (監督版) 13

• 架構轉變： 從2024年末至2025年初，從基於規則的系統轉變為端到端神經網路，直接將攝影機影像作為輸入並輸出駕駛控制。
• 影像處理： 在Hardware 4車輛上以36 Hz處理全解析度攝影機影像。
• 訓練數據： 訓練數據量是FSD 12的四倍以上。
• 延遲： 光子到控制（攝影機影像到轉向/煞車）延遲據稱減少約一半。
• 計算能力： 後端訓練使用新的「Cortex」叢集，顯著增加訓練計算能力。
• 感測器： 純視覺方案，不依賴光達（LiDAR）或雷達。
• 核心技術：
  • RegNets： 作為特徵提取器，處理來自車輛周圍八個攝影機的視訊流，生成多尺度特徵表示。
  • BiFPNs (Bidirectional Feature Pyramid Networks)： 進一步增強特徵表示能力，支持更精確的物體檢測和場景理解。
  • HydraNets： 與RegNets協同工作，構建端到端自動駕駛演算法系統。
  • 佔用網路 (Occupancy Network)： 用於自動駕駛中的3D環境感知，從多視角影像生成車輛周圍的3D佔用網格。
  • Transformer： 核心自注意力機制用於從連續幀中選擇最合適、最具代表性的影像幀，實現視訊預測和視訊分割識別。
  • BEV (Bird's Eye View) 空間： 將影像資訊轉換為鳥瞰視角，以更好地理解和處理環境資訊。

xAI Grok

• 基礎設施： 建立在xAI的伺服器基礎設施上，旨在支持大規模的數據密集型計算和機器學習管道。
• 數據來源： 處理來自X（前Twitter）的大量數據，分析實時內容，如貼文、用戶趨勢和新興新聞。
• 架構： 採用先進的神經網路架構，支持多模態處理（文本、圖像）。
• 模型類型： Grok-1是3140億參數的「專家混合模型」（Mixture-of-Experts, MoE）語言模型，其權重和架構於2023年末開源。
• 上下文窗口： Grok-1.5增加了128k token的上下文窗口。
• 訓練框架： 訓練基礎設施嚴重依賴JAX和Rust（而非PyTorch），以最大化原始性能、運算子融合和零開銷並發，並由Kubernetes進行協調。
• Grok 3架構： 採用1.2兆參數架構，包含128個專家網路和動態路由，實現83%的參數激活效率。
• 訓練數據： 訓練使用了13.4兆token，來源包括科學文獻（32%）、網路文檔（41%）和精選對話數據集（27%），其中18%為非英語內容。