⚙️
Anthropic 評估 60 億美元 Decart 基礎設施交易
據報 Anthropic 正洽談以 60 億美元收購 AI 新創公司 Decart，可能成為其最大規模的收購案，並藉此提升運算基礎設施效能。報導也指出 CoreWeave 警告，從 Nvidia 晶片獨家策略走向多元化可能耗費時間與資金；Cerebras 增長不佳則導致股價下跌。
Search
Tag: #inference127 results
IBM 獲得 2.4 億美元 Together AI 算力合約
IBM 將根據一項多年期 2.4 億美元合約，在 IBM Cloud 部署 NVIDIA HGX B300 叢集，支援 Together AI 的開源模型推理服務。這座專用推理叢集預計於 2027 年第一季投入使用。
ZML 推出跨晶片工具，試圖打破 Nvidia 的市場壟斷
總部位於巴黎的初創公司 ZML 發布了一款免費軟體工具，旨在讓開源 AI 模型能在 Nvidia、AMD、Google、Apple 和 Intel 等不同硬體上運行。此舉旨在降低開發者對 Nvidia 封閉生態系統的依賴。
Nvidia 與 d-Matrix 合作開發 AI 推論系統
Nvidia 正在調整策略，與 AI 晶片新創公司 d-Matrix 展開合作。雙方計畫整合各自的硬體技術，打造一套專用於大模型推論的全新運算系統。
DeepSeek 與 Zhipu AI 轉向自研 AI 推理晶片
領先的 AI 實驗室 DeepSeek 與 Zhipu AI 正加入全球同業行列，投入自研推理晶片的開發。此策略轉變旨在降低對高昂 GPU 的依賴，並針對其模型架構進行效能優化。
法國新創公司 ZML 發布免費工具以加速 AI 推論
ZML 發布了名為 ZML/LLMD 的新軟體工具，旨在優化並加速跨多種 AI 晶片的推論效能。該新創公司由圖靈獎得主 Yann LeCun 背書，目標是降低運行 AI 模型的整體成本。
DeepSeek 秘密研發專用 AI 推理晶片
據報導，DeepSeek 正在研發專為推理任務優化的自研 AI 晶片。該項目已秘密進行超過一年，公司目前正與晶片設計公司、晶圓代工廠及記憶體供應商進行接洽。
DeepSeek 開始研發自研 AI 晶片以降低對 NVIDIA 的依賴
中國 AI 新創公司 DeepSeek 已啟動一項內部專案，旨在開發客製化 AI 晶片。此舉旨在優化推理工作負載，並降低對 NVIDIA 硬體的依賴所帶來的高昂成本。
Together AI 推出前沿模型專用吞吐量服務
Together AI 推出了 Provisioned Throughput，為 MiniMax M3 和 GLM-5.2 等開放模型提供預留推理容量。此服務具備 99% 的正常運行時間 SLA，且成本遠低於專有 API。
Hugging Face Transformers 整合 vLLM 原生速度後端
Hugging Face 推出了原生速度的 vLLM 模型後端，旨在優化推論效能。此整合讓開發者能直接在 Transformers 生態系統中利用 vLLM 的高吞吐量服務能力。