推論晶片獲得投資人信心
據報導,General Compute 以專用 SambaNova 推論晶片作為抵押品,而非 GPU,取得 4 億美元貸款。這筆交易被視為投資人日益關注以開源 AI 模型為主的推論基礎設施的訊號。
Tag: #datacenter12 results
據報導,General Compute 以專用 SambaNova 推論晶片作為抵押品,而非 GPU,取得 4 億美元貸款。這筆交易被視為投資人日益關注以開源 AI 模型為主的推論基礎設施的訊號。

在 GTC 大會上,NVIDIA 推出整合 Groq LPU 的 Vera Rubin 系統,這是針對推理優化的 7 顆晶片 AI 基礎設施,將 prefill 分拆至 GPU,decode 至 LPU。解決 GPU 在高速 token 生成的限制,使 1GW 資料中心 token 產出提升 350 倍。NVIDIA 預測 2027 年 GPU 市場達萬億美元,受 agentic AI 推理需求驅動。
據《The Information》報導,Microsoft 計畫大幅增加下一代 AI 晶片的產量。此舉凸顯 Microsoft 正在強化客製化晶片能力,以因應不斷成長的 AI 基礎設施需求。

紐約州州長 Kathy Hochul 已簽署行政命令,暫停新建超大規模資料中心一年。此舉旨在解決這些對 AI 運算至關重要的設施所帶來的資源消耗問題。

NAACP在密西西比法院起訴Elon Musk的xAI違反清潔空氣法。訴訟針對無許可甲烷發電機,為Memphis地區資料中心供電。排放物據稱汙染田納西-密西西比邊界附近黑人社區。

Anthropic 公布年化收入達300億美元,並計劃使用Google 3.5GW的新AI加速器。Broadcom 為Google製造這些下一代AI與資料中心網路晶片。Broadcom 雖興奮,但將Anthropic視為風險。

xAI 已獲准在其位於密西西比州的 Colossus 2 資料中心運作 41 座甲烷燃氣渦輪,幾乎是目前容量的兩倍。這些渦輪為運行 Grok 的 AI 超級電腦供電。此決定儘管引發公眾反彈。

AMD 透過晶片與股票交易向 Nutanix 投資 2.5 億美元,以開發針對其 GPU 優化的 AI 軟體堆疊。此合作針對軟體定義資料中心,伴隨 VMware 客戶遷移。供應鏈問題亦被提及。

Moonshot 的 Kimi 使用混合 Kimi Linear 模型縮小 KV 快取,实现跨資料中心預填充/解碼分離。在 20 倍擴展模型上達 1.54 倍輸送量和 64% 降低 P90 TTFT。經 PaaS 降低權杖成本。

傑夫·貝佐斯的藍色起源向FCC申請發射最多51,600顆資料中心衛星,用於Project Sunrise計畫。此計畫需要尚未存在的衛星網路、飛行歷史極少的New Glenn火箭,以及監管批准。