UCloud 部署 Hygon Tianxi AI 加速器
中國雲端服務商 UCloud 已將配備 Hygon Tianxi AI 加速器的伺服器導入其公有雲平台。據報導，這是該系列晶片首次大規模部署至公有雲，但雙方尚未公布初始部署規模。
Search
Tag: #inference127 results
⚙️
推論晶片獲得投資人信心
據報導，General Compute 以專用 SambaNova 推論晶片作為抵押品，而非 GPU，取得 4 億美元貸款。這筆交易被視為投資人日益關注以開源 AI 模型為主的推論基礎設施的訊號。
Anthropic洽談三星自研AI晶片，大模型公司集體造芯
Anthropic正與三星洽談開發客製化AI晶片，旨在掌握算力主權並優化推理效能。此舉反映了大模型公司集體向上游硬體領域延伸的趨勢。
OpenAI 暫時取消 ChatGPT Work 與 Codex 的使用限制
OpenAI 正在暫時解除 ChatGPT Work 與 Codex 對 Plus、Business 及 Pro 使用者的 5 小時使用限制。此外，他們正在優化 GPT 5.6 Sol 以提升效率。
Nvidia 與競爭對手 d-Matrix 合作開發 AI 推論系統
Nvidia 正在與新創公司 d-Matrix 合作，共同開發用於執行 AI 模型的系統。該系統結合了 Nvidia 的硬體與 d-Matrix 的專業推論晶片。
推理晶片正在重塑AI算力格局
通用GPU的主導地位正受到專為優化成本、延遲與功耗效率而設計的推理晶片（ASIC）挑戰。大型AI企業正日益開發客製化晶片，以擺脫對GPU的依賴並改善Token經濟效益。
OpenAI效仿DeepSeek將推理成本砍半
OpenAI正實施新的推理成本節省措施，有效降低成本超過50%。此舉被視為對DeepSeek所設定效率基準的直接回應。
DeepSeek 穩定性提升，原因揭秘於最新論文
DeepSeek 已解決其穩定性問題，相關技術原因已在最新研究論文中詳細說明。這為大型模型推理的優化策略提供了重要見解。
ByteDance 發布具備大規模處理能力的 Doubao 2.1 Pro
ByteDance 正式發布其旗艦級大型語言模型 Doubao-Seed-2.1 Pro。該模型已達到生產級標準，目前每日處理量高達 180 兆 tokens。
OpenAI 攜手 Broadcom 發布自研 AI 晶片 Jalapeño
OpenAI 正式發布首款與 Broadcom 共同開發的自研 AI 處理器「Jalapeño」。該晶片專為 AI 推論任務優化，旨在加速模型響應、運行 Codex 以及生成 ChatGPT 回覆。