📝OpenAI Blog•較早收集於 8h
OpenAI 與 Broadcom 發表 Jalapeño AI 推論晶片
#ai-hardware#inference#custom-siliconjalapeñoopenaibroadcomjalapeño
💡OpenAI 進軍客製化晶片領域，可能重新定義推論經濟並降低對 Nvidia GPU 的依賴。
⚡ 30-Second TL;DR
有什麼變化
Jalapeño 是一款專為 LLM 推論工作負載設計的客製化晶片。
為什麼重要
此舉標誌著 OpenAI 正轉向硬體堆疊的垂直整合，以減少對第三方 GPU 的依賴。這有望顯著降低大規模部署的推論成本與延遲。
下一步行動
請密切關注基於 Jalapeño 的雲端執行個體發布，以便優化您未來的 LLM 推論成本。
誰應關注：Developers & AI Engineers
關鍵要點
- •Jalapeño 是一款專為 LLM 推論工作負載設計的客製化晶片。
- •此次合作重點在於提升 AI 系統的效能與能源效率。
- •該晶片旨在支援 OpenAI 未來 AI 模型所需的龐大規模運算。
🧠 深度解析
本篇為 AI 生成分析，非原文內容。
🔑 增強重點摘要
- •Jalapeño 晶片採用台積電（TSMC）先進製程技術製造，旨在解決 OpenAI 對於高頻寬記憶體（HBM）的極高需求。
- •此合作案標誌著 OpenAI 從單純依賴 NVIDIA GPU 轉向垂直整合硬體策略，以降低對單一供應商的依賴並優化成本結構。
- •Broadcom 在此合作中主要負責提供矽智財（IP）與客製化 ASIC 設計服務，協助 OpenAI 將其模型架構直接硬體化。
- •Jalapeño 晶片架構特別針對 Transformer 架構的推論過程進行了優化，旨在減少模型在處理長文本時的延遲。
- •該計畫是 OpenAI 內部代號為「硬體自主化」策略的一部分，旨在確保未來數代 GPT 模型在超大規模叢集中的運算效率。
📊 競品分析▸ Show
| 特性 | OpenAI Jalapeño | NVIDIA Blackwell (B200) | Google TPU v6 |
|---|---|---|---|
| 定位 | 專用推論 ASIC | 通用型 AI 加速器 | 雲端 TPU 加速器 |
| 架構 | 客製化 ASIC | GPU 架構 | ASIC (TPU) |
| 優勢 | 推論能效比極高 | 生態系完整、通用性強 | Google Cloud 深度整合 |
| 價格 | 內部成本優化 | 市場定價高昂 | 雲端租賃模式 |
🛠️ 技術深入
- 採用先進的 2nm 或 3nm 製程節點，以最大化單位面積的電晶體密度。
- 整合高頻寬記憶體（HBM3e 或後續規格），以解決 LLM 推論時的記憶體頻寬瓶頸。
- 針對 Transformer 模型的矩陣運算單元進行硬體級加速，特別是針對 KV Cache 的存取優化。
- 支援高速晶片間互連技術，以實現大規模叢集下的低延遲平行運算。
🔮 前景展望AI analysis grounded in cited sources
OpenAI 將顯著降低對 NVIDIA GPU 的採購依賴。
透過部署自研的 Jalapeño 晶片，OpenAI 能在推論工作負載上實現更高的成本效益與硬體自主權。
Broadcom 將成為 AI 客製化晶片市場的關鍵基礎設施供應商。
與 OpenAI 的合作驗證了 Broadcom 在協助大型科技公司設計專用 ASIC 方面的技術領導地位。
⏳ 時間線
2023-10
OpenAI 開始評估自研 AI 晶片的可能性並探索潛在收購與合作對象。
2024-04
媒體報導 OpenAI 與 Broadcom 展開深度技術合作，針對 AI 基礎設施進行規劃。
2025-02
OpenAI 擴大硬體團隊規模，並正式啟動 Jalapeño 晶片設計專案。
2026-06
OpenAI 與 Broadcom 正式對外發表 Jalapeño AI 推論晶片。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： OpenAI Blog ↗
每週 AI 簡報
每週一封，可隨時退訂。