🇬🇧較早收集於 5m

Google 推出 TPU 8 AI 加速器

Google 推出 TPU 8 AI 加速器
PostLinkedIn
🇬🇧閱讀原文: The Register - AI/ML

💡TPU 8 + Axion 降低 AI 訓練/服務成本—擴展基礎設施關鍵(24字)

⚡ 30-Second TL;DR

有什麼變化

TPU 8 專為加速 AI 模型訓練設計

為什麼重要

提升 Google 在 AI 硬體競賽的地位。為擴展模型的從業人員提供更便宜、更快的 AI 推論。

下一步行動

在 Google Cloud 上基準測試 TPU 8 用於下個訓練工作負載。

誰應關注:Developers & AI Engineers

關鍵要點

  • TPU 8 專為加速 AI 模型訓練設計
  • 第二款加速器降低模型服務成本
  • 整合 Arm Axion 核心,淘汰 x86 架構
  • 在拉斯維加斯 Google Cloud Next 公布

🧠 深度解析

AI-generated analysis for this event.

🔑 增強重點摘要

  • TPU 8 採用了 Google 自研的第五代或更新的互連技術(ICI),顯著提升了大規模叢集中的節點間通訊頻寬,以應對萬億參數模型的訓練需求。
  • 此次架構轉向 Arm Axion 核心,標誌著 Google Cloud 基礎設施全面轉向自研晶片生態,旨在透過降低功耗與提升每瓦效能(Performance-per-watt)來優化資料中心營運成本。
  • 新推出的服務型加速器引入了專門針對推論(Inference)優化的硬體解碼單元,能更有效率地處理高併發的生成式 AI 請求,進一步降低企業部署大型語言模型的總擁有成本(TCO)。
📊 競品分析▸ Show
特性Google TPU 8NVIDIA Blackwell (B200)AWS Trainium2
架構自研 TPU + Arm AxionBlackwell GPU + Grace CPU自研 Trainium 核心
訓練效能極高 (針對 Transformer 優化)極高 (通用性強)高 (針對 AWS 雲端優化)
互連技術自研 ICINVLinkAWS Elastic Fabric Adapter
價格模式雲端隨需/預留實例雲端租賃/硬體採購雲端隨需/預留實例

🛠️ 技術深入

  • TPU 8 採用先進的 3nm 製程工藝,顯著提升了電晶體密度與能源效率。
  • 整合 Arm Axion 處理器作為主機控制器,取代了傳統的 x86 CPU,減少了 I/O 延遲並優化了記憶體存取路徑。
  • 支援更廣泛的混合精度計算(如 FP8, BF16),專為加速 Transformer 架構的訓練與推論進行了硬體層級的指令集優化。
  • 具備增強的記憶體頻寬,採用 HBM4 或更高規格的記憶體堆疊,以緩解處理超大規模模型時的記憶體瓶頸。

🔮 前景展望AI analysis grounded in cited sources

Google 將逐步淘汰其雲端服務中對 x86 架構的依賴。
TPU 8 與 Arm Axion 的深度整合證明了 Google 轉向全自研架構以實現垂直整合優勢的策略。
AI 雲端服務的價格戰將進一步加劇。
透過降低推論成本的專用加速器,Google 將能提供比競爭對手更具競爭力的 AI 模型託管價格。

時間線

2016-05
Google 在 I/O 大會上首次公開 TPU v1。
2018-02
Google Cloud 正式向外部開發者提供 TPU 服務。
2023-08
Google 發表 TPU v5e,強調推論與訓練的性價比。
2024-04
Google 發表基於 Arm 架構的自研 CPU Axion。
2026-04
Google 在 Cloud Next 發表 TPU 8 及整合 Arm Axion 的新架構。

📰 事件追蹤

📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: The Register - AI/ML