⚛️Ars Technica AI•較早收集於 33m
OpenAI 與 Broadcom 合作開發客製化 LLM 推論晶片
💡OpenAI 攜手 Broadcom 轉向客製化晶片，旨在解決大規模 LLM 推論的算力瓶頸。
⚡ 30-Second TL;DR
有什麼變化
OpenAI 與 Broadcom 共同開發用於 LLM 推論的客製化晶片。
為什麼重要
此合作標誌著 AI 基礎設施向垂直整合轉型，有望降低推論成本並提升 OpenAI 模型效能。
下一步行動
密切關注未來的 OpenAI API 效能基準測試，因為客製化晶片的整合可能會為開發者帶來更低的延遲與成本。
誰應關注：Developers & AI Engineers
關鍵要點
- •OpenAI 與 Broadcom 共同開發用於 LLM 推論的客製化晶片。
- •合作重點在於擴展基礎設施以滿足高算力需求。
- •客製化晶片旨在提升 AI 工作負載的效率與效能。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •OpenAI 的晶片策略不僅限於 Broadcom，同時也與台積電（TSMC）合作，利用其先進製程技術進行晶片製造。
- •此項合作旨在減少 OpenAI 對 NVIDIA GPU 的依賴，特別是針對推論（Inference）階段進行成本與能效的最佳化。
- •除了 Broadcom，OpenAI 亦與 Marvell Technology 進行接觸，顯示其在客製化晶片供應鏈上採取多元化策略。
- •該客製化晶片計畫被視為 OpenAI 建立「主權 AI」基礎設施的一部分，以確保在模型規模擴張時擁有穩定的算力供應。
- •此合作案涉及 Broadcom 的 ASIC（特殊應用積體電路）設計服務，利用其在高速互連技術（如 SerDes）上的優勢來處理 LLM 的龐大數據傳輸需求。
📊 競品分析▸ Show
| 競爭對手 | 晶片策略 | 關鍵優勢 | 備註 |
|---|---|---|---|
| TPU (自研) | 軟硬體垂直整合度最高 | 專為 TensorFlow/JAX 優化 | |
| Amazon (AWS) | Trainium/Inferentia | 雲端基礎設施成本效益 | 針對 AWS 生態系優化 |
| Microsoft | Maia 100 | Azure 雲端整合 | 專注於 Azure AI 工作負載 |
| Meta | MTIA | 推論效能優化 | 針對推薦系統與開源模型優化 |
🛠️ 技術深入
- 採用先進的封裝技術（如 CoWoS），以應對高頻寬記憶體（HBM）與運算單元之間的數據傳輸瓶頸。
- 專注於低精度運算（如 FP8 或 INT8）的硬體加速，以提升 LLM 推論的吞吐量並降低延遲。
- 整合 Broadcom 的高速網路 IP，以支援大規模叢集中的節點間通訊。
- 針對 Transformer 架構中的注意力機制（Attention Mechanism）進行硬體層級的電路優化。
🔮 前景展望AI analysis grounded in cited sources
OpenAI 將顯著降低其長期營運的推論成本。
透過客製化晶片取代通用 GPU，能針對特定模型架構進行能效比優化，從而降低單位推論的電力與硬體折舊成本。
NVIDIA 在 AI 晶片市場的市佔率將面臨結構性挑戰。
隨著 OpenAI 等大型客戶轉向自研或客製化晶片，NVIDIA 必須加速產品迭代以維持其在高效能運算領域的壟斷地位。
⏳ 時間線
2023-10
OpenAI 傳出開始評估自研 AI 晶片以解決算力短缺問題。
2024-04
OpenAI 高層與台積電及其他晶片設計廠商進行初步供應鏈洽談。
2024-07
媒體報導 OpenAI 正式與 Broadcom 展開合作開發客製化推論晶片。
2025-02
OpenAI 擴大硬體團隊規模，並加速與晶片設計合作夥伴的架構定義。
2026-03
業界確認 OpenAI 的客製化晶片進入原型設計與驗證階段。
📰 事件追蹤
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Ars Technica AI ↗