Alibaba Cloud 開放 M890 AI 超級節點
Alibaba Cloud 已在中國啟用 Lingjun Zhenwu M890 超級節點雲端實例，首個部署地點為烏蘭察布。企業客戶可配置具備高速互連的 64 張加速卡運算單元，無須自行建置資料中心即可進行大規模 AI 推論。
Search
Tag: #ai-inference28 results
雲天暢想轉型面向AGI時代的「實時智算織網」
雲天暢想完成超過10億元人民幣E輪融資，並將戰略定位從邊緣智算服務商拓展為面向AGI時代的「實時智算織網」，旨在解決大模型推理的低時延需求。
NTT 數據中心將擴增3倍因應AI需求
NTT 計劃至2033會計年度將國內數據中心電力容量擴增超過3倍，以因應AI需求急劇增長。島田明社長指出推論用途正擴大。最新技術數據中心將透過高速通信網連結，處理海量AI數據並推動日本產業發展。
Google 推出 TPU 8t/8i 避開 Nvidia 稅
Google 預覽第八代 TPU：TPU 8t 用於前沿模型訓練，TPU 8i 用於代理推理，將於今年晚些時候出貨。垂直整合實現優於依賴 Nvidia 競爭對手的每 token 成本經濟性。TPU 8t 透過 Virgo 網路擴展至超過 100 萬顆晶片。
Arc Pro B70 AI 推理效能飆升 80%
英特爾 Arc Pro B70 在 MLPerf v6.0 基準測試中，AI 推理性能比 B60 提升 80%。4 張 B70（128GB 顯存）搭配至強 6 處理器，輕鬆處理 1200 億參數 LLM。軟體升級讓現有 B60 提升 18%。
Google TurboQuant 將 AI 記憶體減 6 倍
Google 推出 TurboQuant，一種將關鍵值 (KV) 快取記憶體需求降低六倍的 AI 演算法，這對提供 AI 模型至使用者至關重要。此消息導致三星及 SK 海力士等記憶體晶片股下跌。分析師認為這是投資者「逢低買入」的機會。
Gimlet Labs 為多晶片 AI 推論募資 8000 萬美元
Gimlet Labs 完成 8000 萬美元 A 輪募資。他們的技術讓 AI 推論同時運行於 NVIDIA、AMD、Intel、ARM、Cerebras 及 d-Matrix 晶片上。它優雅解決 AI 推論瓶頸。
200億美元重注LPU，英偉達上演AI推理界「諾曼底登陸」
英偉達投入200億美元於LPU，主宰AI推理市場。此舉比諾曼底登陸，面對推理時代三重圍剿。
英偉達 Groq 整合晶片供 OpenAI 推理
英偉達正為 OpenAI 及其他客戶打造定制處理器，整合 Groq 晶片技術，用於更快、更高效的 AI 推理。這是業務重大調整，或重塑 AI 競賽格局。下月聖何塞 GTC 大會公布。
英偉達日賺22億，全年淨利已超4個騰訊
英偉達Q4營收681億美元創紀錄（+73%），資料中心623億（+75%），全年淨利1201億美元超4個騰訊。黃仁勳強調代理式AI拐點，token生成經推理轉收入。Blackwell爬坡，Rubin樣品出貨，中國對手崛起。