💰TechCrunch AI•最新收集於 8m
OpenAI 的 Jalapeño 晶片瞄準高效能推論
💡了解 OpenAI 自研晶片如何據報同時提升推論吞吐量與能源效率。
⚡ 30-Second TL;DR
有什麼變化
Jalapeño 專為大規模快速推論而設計。
為什麼重要
如果基準測試結果能在實際生產環境中重現，Jalapeño 可能改善高流量 AI 工作負載的服務經濟效益。其能源效率優勢，對受電力容量與推論成本限制的資料中心尤其重要。
下一步行動
以每位使用者 token 數與每千瓦吞吐量測試目前的推論堆疊，並將結果作為未來評估 Jalapeño 時的基準。
誰應關注：Developers & AI Engineers
關鍵要點
- •Jalapeño 專為大規模快速推論而設計。
- •該晶片使用 Semianalysis 的 InferenceX 基準進行評估。
- •據報導，Jalapeño 在每位使用者 token 數與每千瓦吞吐量兩項指標均取得領先。
🧠 深度解析
背景與延伸：來自公開資料，非原文內容。引用 9 個來源。
🔑 增強重點摘要
- •Jalapeño 晶片是 OpenAI 與 Broadcom 及 Celestica 合作開發的成果，旨在實現基礎設施的垂直整合並降低對第三方 GPU 供應鏈的依賴。
- •該晶片採用了 HBM4 記憶體技術，並整合了 Broadcom 的 Tomahawk 網路技術，使其在硬體規格上能與 NVIDIA 及 AMD 的旗艦產品競爭。
- •開發週期極為迅速，從設計到流片（tape-out）僅耗時約 16 個月，部分階段更透過 OpenAI 自家的 AI 模型進行加速。
- •在實際測試中，Jalapeño 展現了極高的能源效率，儘管額定功率為 700 瓦，但在持續運作時功耗可維持在 550 瓦或以下。
- •該架構具有高度通用性，不僅限於 OpenAI 模型，在 GPT-OSS 120B、DeepSeek R1 及 Kimi K2.5 1T 等多種模型上均表現出領先業界的效能。
📊 競品分析▸ Show
| 特性 | OpenAI Jalapeño | NVIDIA H200/B200 | AMD Instinct MI325X |
|---|---|---|---|
| 主要用途 | 專用推論 (Inference) | 通用訓練與推論 | 通用訓練與推論 |
| 記憶體技術 | HBM4 | HBM3e | HBM3e |
| 能源效率 | 領先 (每瓦效能高 1.5-1.9 倍) | 標準基準 | 標準基準 |
| 網路技術 | Broadcom Tomahawk | NVLink/InfiniBand | Infinity Fabric |
🛠️ 技術深入
- 晶片面積：約 840 平方毫米的晶片組（Chiplet）設計。
- 記憶體：採用最新一代 HBM4 高頻寬記憶體。
- 網路架構：整合 Broadcom Tomahawk 網路技術以優化大規模叢集通訊。
- 效能指標：在互動式工作負載中，效能較現有硬體提升 2.1 至 4.1 倍。
- 延遲表現：端到端延遲較現有商業系統降低 1.7 至 3.6 倍。
🔮 前景展望AI analysis grounded in cited sources
OpenAI 將在 2026 年底前啟動 Jalapeño 的大規模部署。
根據官方發布的時程規劃，該晶片將於 2026 年 6 月揭幕後，於年底正式進入生產環境。
Jalapeño 的成功將顯著降低 OpenAI 營運大型語言模型的邊際成本。
該晶片在每千瓦吞吐量上的優勢直接對應到資料中心營運成本的結構性改善。
⏳ 時間線
2024-06
OpenAI 正式啟動 Jalapeño 晶片設計專案。
2026-06
OpenAI 正式對外揭曉 Jalapeño 推論晶片。
2026-08
OpenAI 公布基於 InferenceX 基準測試的效能數據。
📎 來源 (9)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： TechCrunch AI ↗
每週 AI 簡報
每週一封，可隨時退訂。