OpenAI × 博通聯合發表首款自研 AI 晶片 Jalapeño:
推理成本大降 50%,直攻 NVIDIA

若你是AI 開發者、基礎設施負責人或關注算力成本的決策者,正想釐清「OpenAI 自研晶片能否撼動 NVIDIA」「推理帳單何時真正下降」,本文依 2026 年 6 月 24 日官方發表與主流媒體採訪,整理OpenAI 與博通聯手推出的首款客製推理晶片 Jalapeño:早期測試推理成本約省 50%、台積電 3nm 製程、9 個月流片紀錄、Microsoft Azure 年底首批部署,以及與 NVIDIA Blackwell 的競合關係、供應鏈分工與 2029 年 10 GW 算力目標。節點方案以 NOVAKVM 定價頁為準。

OpenAI 是全球最大的 GPU 消耗者之一。每次 ChatGPT 回覆背後,伺服器叢集都在執行推理(Inference)——依輸入產生回答。隨 GPT-4、GPT-5 系列能力升級,推理成本已成為獲利路徑上最沈重的負擔。過去 OpenAI 幾乎完全依賴 NVIDIA H100、H200、Blackwell 等通用加速器;在高度同質化的 LLM 推理場景裡,大量算力其實是浪費的。

類比:NVIDIA GPU 是瑞士刀,Jalapeño 是手術刀——專做 LLM 推理,但在該領域效率極高。

  • 模型越強,帳單越貴:推理是 OpenAI 營運支出最大單項之一,日活數億使用者後邊際成本極度敏感。
  • 通用 GPU 的架構錯配:GPU 為遊戲、訓練、模擬等廣泛任務設計,並非專為 Transformer 推理最佳化。
  • 大廠早已入局:OpenAI 是客製矽入局較晚的大廠之一,但 9 個月流片速度驚人。
  • 開發者端隱性成本:API 降價預期與本地 Agent 長時執行,都仰賴上游推理效率;本機環境休眠、磁碟瓶頸會放大「算力便宜但跑不穩」的問題。
hyperscaler 自研 AI 晶片對照(公開資訊)
公司 自研晶片 主要用途
Google TPU 訓練 + 推理
Amazon Trainium / Inferentia 訓練 + 推理
Microsoft Maia 100 推理
Meta MTIA 推理
OpenAI Jalapeño(2026) 推理

Jalapeño 是 ASIC(專用積體電路),不是 GPU:只做 LLM 推理,不玩遊戲、不跑訓練、不做通用運算。OpenAI 硬體負責人 Richard Ho 表示,晶片從零開始專為 LLM 推理設計,融入對前沿模型在核心執行、記憶體搬移、網路通訊與服務模式的洞察,早期測試能在接近硬體理論極限的狀態下執行最重要工作負載。

  • 從零設計(Blank-slate):以現代 LLM 推理為出發點,每個設計決策圍繞 Transformer 運算模式,而非先通用再在軟體層適配 AI。
  • 最小化資料搬移:推理瓶頸常在記憶體頻寬;架構專門減少記憶體與運算單元之間的無效搬移。
  • 運算 / 記憶體 / 網路均衡:針對 LLM 負載特徵專項平衡,使實際利用率更接近理論峰值。
  • 博通 Tomahawk 互聯:大規模叢集部署時提供強大節點間通訊,支撐多卡協同推理超大模型。
  • Celestica 系統整合:負責主機板、機架與伺服器系統整合,提供規模化量產能力。
  • 台積電 3nm 製造:與 Apple M4、NVIDIA Blackwell 同代先進製程,高電晶體密度、低功耗。
  • 實驗室已運行:工程樣品在目標頻率與功耗下執行 ML 工作負載,包括 GPT-5.3-Codex-Spark(程式設計場景旗艦推理模型之一)。
Jalapeño 早期效能與成本指標(官方/博通聲明,待第三方驗證)
指標 Jalapeño(早期測試) 對比基準
推理成本節省 約 50% 相比現有主流 AI GPU
每瓦效能 顯著優於當前最先进水平 OpenAI 官方聲明
效能絕對值 與 Blackwell、Google TPU 相當 博通 CEO Hock Tan(路透社)
熱耗散 優於預期 OpenAI 內部測試

博通 CEO Hock Tan(Bloomberg):「到目前為止,Jalapeño 相比典型 AI GPU 展現出約 50% 的成本節省。」

OpenAI 總裁 Greg Brockman:Jalapeño 從初始設計到流片僅 9 個月,部分設計與最佳化流程使用了 OpenAI 自己的 AI 模型(具體哪一代未公開;VentureBeat 援引知情人士稱使用前代 OpenAI 模型)。

審慎看待「50%」:目前仍是 Broadcom 方面早期實驗室數據;完整技術報告預計數月後發布;Microsoft 等夥伴資料中心實際部署與第三方獨立基準測試尚未完成。

Jalapeño 從初始設計到製造流片(Tape-out)僅 9 個月,OpenAI 與博通聲稱這是高效能先進半導體領域有史以來最快的 ASIC 開發週期

  • 軟硬體深度協同:模型團隊與晶片團隊協作,避免傳統 ASIC 開發中「硬體工程師猜測軟體需求」的大量返工。
  • AI 輔助晶片設計:OpenAI 自有模型加速部分設計決策與最佳化。
  • 博通成熟 IP 庫:晶片實現、網路互聯等可複用 IP 顯著縮短邏輯到物理實現週期。
Jalapeño 產業鏈與合作夥伴分工
角色 公司 負責內容
晶片架構設計 OpenAI LLM 推理最佳化方向、全棧架構設計
晶片實現與網路 博通(Broadcom) 矽片實現、Tomahawk 網路晶片、量產支援
晶圓代工 台積電(TSMC) 3nm 製程製造
系統整合 Celestica 主機板、機架、伺服器系統整合、量產
首批部署客戶 Microsoft Azure 資料中心部署(2026 年底開始)

博通正成為「AI 客製晶片界的代工皇」——同時為 Google(TPU v5/v6)、Meta(MTIA)與 OpenAI(Jalapeño)設計客製 ASIC。公開市場數據顯示:2026 年前 5 個月博通股價年漲幅約 18%;自 2022 年底以來累計漲幅接近 7 倍。Jalapeño 與所有 AI 加速器一樣需要大量 HBM 高頻寬記憶體,SK 海力士、三星等供應商將受益。

近期(2026 年底):工程樣品已在 OpenAI 實驗室測試;年底前正式部署至 Microsoft 及其他資料中心合作夥伴;優先服務 ChatGPT、Codex、API 等內部推理需求。

中期(2027 年):大規模量產;博通 CEO 預測部署規模將超過此前預測的 1.3 吉瓦(GW);晶片「為全產業當前與未來 LLM 而建」,可能向外部 AI 公司開放。

長期(至 2029 年):OpenAI 目標以自研晶片支撐 10 GW 算力(約 10 座核電廠發電量級別);多代路線圖已規劃,下一代預計 2028 年推出並此後每年迭代;未來可能擴展至訓練晶片(目前僅涵蓋推理)。

Jalapeño 能否替代 NVIDIA?短期結論矩陣
維度 Jalapeño 現況 NVIDIA 護城河
工作負載 僅推理 訓練 + 推理全覆蓋
軟體生態 專用棧,規模有限 CUDA 十餘年生態,數百萬開發者
架構彈性 ASIC 高效但架構變更適配成本高 通用 GPU 適應性強
資本綁定 自研 + 博通合作 2026 年 2 月 NVIDIA 向 OpenAI 直接投資 300 億美元
戰略定位 分散供應、談判籌碼 Vera Rubin 下一代平台、持續生態投入

核心戰略意義是「分散供應,談判籌碼」——哪怕 Jalapeño 只承擔 20%–30% 推理負載,也意味著真實節約成本、與 NVIDIA 談判採購價格的底氣,以及不再受單一供應商供貨週期與漲價約束。這與 Google、Amazon、Microsoft 策略一致:不是「拋棄 NVIDIA」,而是「不再完全依賴 NVIDIA」。

「Nobody wants to be beholden to Nvidia.」—— Quilter Cheviot 全球科技研究主管 Ben Barringer(CNN 援引)

消息公布後 NVIDIA 股價反應有限;市場普遍認為訓練領域優勢短期內不受威脅,但大客戶自研晶片構成長期結構性壓力。

  • 推理經濟學重塑商業模式:若 50% 成本節省在生產環境驗證,ChatGPT / API 呼叫成本可能進一步下降,OpenAI 獲利路徑更清晰,「AI 價格戰」底線將被拉低。
  • 「全棧 AI 公司」成新標準:OpenAI 官方表述——不僅在開發前沿模型或建構產品,更在設計下方基礎設施:晶片架構、核心、記憶體系統、網路、排程、部署系統與產品體驗。競爭維度從「誰的模型更好」演變為「誰的全棧效率更高」。
  • 半導體格局分化:贏家包括博通(客製 ASIC 合作)、台積電(先進製程需求)、SK 海力士 / 三星(HBM);承壓方包括 NVIDIA(推理份額可能被蠶食)、AMD(推理 ASIC 浪潮中存在感弱)。
關鍵人物與角色(公開發表資訊)
姓名 職位 在此事件中的角色
Greg Brockman OpenAI 聯合創辦人 & 總裁 公開宣布發表,定性為全棧基礎設施戰略
Richard Ho OpenAI 硬體專案負責人 技術架構領導者
Hock Tan 博通 CEO 聲稱效能媲美 Blackwell、成本節省 50%
Sam Altman OpenAI CEO 整體戰略推動(曾公開表示希望掌控算力命脈)

  • Jalapeño 是 NVIDIA GPU 的替代品嗎?不是,至少現在不是。只做 LLM 推理,不做訓練;雙方更多是互補關係。
  • 50% 成本節省是真實數據嗎?博通 CEO Bloomberg 採訪公布的早期實驗室數據,尚未第三方獨立驗證;完整技術報告數月後發布。
  • 一般使用者會感受到什麼?若驗證成功,ChatGPT / API 費用可能進一步降低,回應可能更快;長期 AI 服務更便宜、更普及。
  • 為什麼叫 Jalapeño(墨西哥辣椒)?官方未說明;OpenAI 內部有食物命名傳統,可能暗示效能或對市場格局的刺激。
  • 會向其他 AI 公司開放嗎?官方表述晶片「為全產業當前與未來 LLM 而建」,暗示未來可能開放;目前優先滿足 OpenAI 自身需求。
  • 下一代何時發布?路線圖規劃下一代預計 2028 年推出,之後逐年迭代。
  • 對 NVIDIA 股價有影響嗎?公布後反應有限;訓練優勢短期不受威脅,長期自研趨勢構成結構性壓力。

時間軸:

  • 2025 年 10 月:OpenAI 與博通正式宣布合作開發客製晶片
  • 2026 年 2 月:NVIDIA 向 OpenAI 直接投資 300 億美元(含 Vera Rubin 算力協議)
  • 2026 年 6 月 24 日:Jalapeño 公開發表,工程樣品在實驗室運行
  • 2026 年底:首批商用部署(Microsoft Azure 及其他合作夥伴)
  • 2027 年:大規模量產,部署規模超 1.3 GW
  • 2028 年(預計):第二代晶片發布
  • 2029 年(目標):自研晶片支撐 10 GW 算力規模

  1. 區分訓練與推理預算:Jalapeño 僅涵蓋推理;訓練前沿模型仍依賴 NVIDIA GPU——團隊應分開核算兩類算力合約與 API 成本。
  2. 審慎採用廠商基準:將「50% 節省」視為待驗證假設;關注 OpenAI 完整技術報告、Azure 實際部署與 MLPerf 等第三方基準。
  3. 追蹤產業鏈受益方:博通、台積電、HBM 供應商與 Celestica 整合商的變化,可間接判斷量產進度與供給風險。
  4. 重估 API 定價預期:若推理經濟學改善,ChatGPT / Codex API 可能進一步降價——提前在產品中設計多供應商與快取策略。
  5. 理解「全棧競爭」:模型品質之外,端到端效率(晶片 + 排程 + 產品)將成為護城河;Agent 與 CI 工作流應匹配更低延遲、更穩定的環境。
  6. 固化 7×24 開發環境:將編碼 Agent、長時推理任務部署在常駐線上的 Apple Silicon 節點;詳見 雲端幫助中心雲端訂購頁
  • 發表日期:2026 年 6 月 24 日(OpenAI + Broadcom 聯合發表)
  • 推理成本節省:約 50%(博通 CEO 早期實驗室聲明,待獨立驗證)
  • 流片週期:9 個月(設計到 Tape-out,官方稱創高效能 ASIC 紀錄)
  • 製程:台積電 3nm
  • 長期算力目標:10 GW(2029 年)

在本地筆電上跑 Codex、Cursor Agent 與長時 API 壓測,常見痛點是合蓋休眠中斷、記憶體頻寬不足、無法 7×24 常駐、跨國網路抖動。雲端虛擬機共享資源則存在 Metal 效能損耗與 macOS 版本不可控。對於需要穩定 iOS/macOS 建置、AI Agent 自動化與編碼助手長時線上的生產環境,NOVAKVM 的 Mac Mini 雲端裸機租賃通常是更優解:獨占 Apple Silicon、多區域低延遲節點、按天/週/月彈性租期,讓推理降本趨勢下的工程投入落在可預期的執行環境上。

以下連結為撰寫時依據的公開報導與官方入口;若上游更新,請以原文為準。

OpenAI 官方發表部落格

TechCrunch:OpenAI unveils its first custom chip, built by Broadcom

VentureBeat:Jalapeño development sped up with OpenAI models

The Next Web:OpenAI Jalapeño chip and Nvidia

Bloomberg:OpenAI and Broadcom Unveil Jalapeno AI Chip

Axios:OpenAI moves beyond Nvidia