SetupAI
EN
來源較早收集於 8h

OpenAI 與 Broadcom 發表 Jalapeño AI 推論晶片

閱讀原文： OpenAI Blog
#ai-hardware#inference#custom-silicon

OpenAI 進軍客製化晶片領域，可能重新定義推論經濟並降低對 Nvidia GPU 的依賴。

30 秒速覽

有什麼變化

Jalapeño 是一款專為 LLM 推論工作負載設計的客製化晶片。

為什麼重要

此舉標誌著 OpenAI 正轉向硬體堆疊的垂直整合，以減少對第三方 GPU 的依賴。這有望顯著降低大規模部署的推論成本與延遲。

下一步行動

請密切關注基於 Jalapeño 的雲端執行個體發布，以便優化您未來的 LLM 推論成本。

誰應關注：Developers & AI Engineers

關鍵要點

  • •Jalapeño 是一款專為 LLM 推論工作負載設計的客製化晶片。
  • •此次合作重點在於提升 AI 系統的效能與能源效率。
  • •該晶片旨在支援 OpenAI 未來 AI 模型所需的龐大規模運算。

深度解析

本篇為 AI 生成分析，非原文內容。

增強重點摘要

  • •Jalapeño 晶片採用台積電（TSMC）先進製程技術製造，旨在解決 OpenAI 對於高頻寬記憶體（HBM）的極高需求。
  • •此合作案標誌著 OpenAI 從單純依賴 NVIDIA GPU 轉向垂直整合硬體策略，以降低對單一供應商的依賴並優化成本結構。
  • •Broadcom 在此合作中主要負責提供矽智財（IP）與客製化 ASIC 設計服務，協助 OpenAI 將其模型架構直接硬體化。
  • •Jalapeño 晶片架構特別針對 Transformer 架構的推論過程進行了優化，旨在減少模型在處理長文本時的延遲。
  • •該計畫是 OpenAI 內部代號為「硬體自主化」策略的一部分，旨在確保未來數代 GPT 模型在超大規模叢集中的運算效率。

競品分析

定位
OpenAI Jalapeño
專用推論 ASIC
NVIDIA Blackwell (B200)
通用型 AI 加速器
Google TPU v6
雲端 TPU 加速器
架構
OpenAI Jalapeño
客製化 ASIC
NVIDIA Blackwell (B200)
GPU 架構
Google TPU v6
ASIC (TPU)
優勢
OpenAI Jalapeño
推論能效比極高
NVIDIA Blackwell (B200)
生態系完整、通用性強
Google TPU v6
Google Cloud 深度整合
價格
OpenAI Jalapeño
內部成本優化
NVIDIA Blackwell (B200)
市場定價高昂
Google TPU v6
雲端租賃模式

技術深入

  • 採用先進的 2nm 或 3nm 製程節點，以最大化單位面積的電晶體密度。
  • 整合高頻寬記憶體（HBM3e 或後續規格），以解決 LLM 推論時的記憶體頻寬瓶頸。
  • 針對 Transformer 模型的矩陣運算單元進行硬體級加速，特別是針對 KV Cache 的存取優化。
  • 支援高速晶片間互連技術，以實現大規模叢集下的低延遲平行運算。

前景展望基於引用來源的 AI 分析

OpenAI 將顯著降低對 NVIDIA GPU 的採購依賴。
透過部署自研的 Jalapeño 晶片，OpenAI 能在推論工作負載上實現更高的成本效益與硬體自主權。
Broadcom 將成為 AI 客製化晶片市場的關鍵基礎設施供應商。
與 OpenAI 的合作驗證了 Broadcom 在協助大型科技公司設計專用 ASIC 方面的技術領導地位。

時間線

2023-10
OpenAI 開始評估自研 AI 晶片的可能性並探索潛在收購與合作對象。
2024-04
媒體報導 OpenAI 與 Broadcom 展開深度技術合作，針對 AI 基礎設施進行規劃。
2025-02
OpenAI 擴大硬體團隊規模，並正式啟動 Jalapeño 晶片設計專案。
2026-06
OpenAI 與 Broadcom 正式對外發表 Jalapeño AI 推論晶片。
閱讀原文： OpenAI Blog

AI 週報

閱讀本週精選 AI 大事摘要 →

PostLinkedIn

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： OpenAI Blog ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週電子報

每週一封，可隨時退訂。