🐯虎嗅•較早收集於 32m
無問芯穹：擴展AI智能體時代的Token工廠
#agentic-ai#compute-schedulingagentic-maaswuwen qiongnvidiah100
💡了解智能體AI的興起如何迫使基礎設施從以訓練為中心轉向以推理為中心。
⚡ 30-Second TL;DR
有什麼變化
無問芯穹的Agentic MaaS平台在2023年12月至2024年4月期間，Token調用量增長超過20倍。
為什麼重要
向智能體工作流的轉變正將AI價值鏈從訓練轉向推理，為能夠優化Token生產成本的基礎設施提供商創造了巨大的市場空間。
下一步行動
評估您的推理技術堆疊，尋找P/D分離的優化機會，以降低智能體應用中的延遲並提高吞吐量。
誰應關注：Founders & Product Leaders
關鍵要點
- •無問芯穹的Agentic MaaS平台在2023年12月至2024年4月期間，Token調用量增長超過20倍。
- •公司專注於「智能體基礎設施」，透過優化異質算力（多種晶片與模型）來提升推理效率。
- •平台上95%以上的Token使用量目前由智能體場景驅動，而非簡單的聊天。
- •公司利用P/D（預填充/解碼）分離技術，最大化國產AI晶片的效能。
🧠 深度解析
本篇為 AI 生成分析，非原文內容。
🔑 增強重點摘要
- •無問芯穹由清華大學電子工程系教授汪玉團隊創立，核心技術源自清華大學在軟硬體協同設計領域的長期積累。
- •公司在2024年完成了數億元人民幣的A輪融資，投資方包括社保基金中關村自主創新專項基金、啟明創投等知名機構。
- •其技術架構不僅支援NVIDIA GPU，還針對華為昇騰、摩爾線程、壁仞科技等國產晶片進行了深度適配與算力優化。
- •無問芯穹推出了名為「無穹Infini-AI」的異構算力平台，旨在解決大模型訓練與推理過程中晶片碎片化導致的算力利用率低下問題。
- •公司與多家大模型廠商（如智譜AI、百川智能）建立合作，透過統一的軟體棧介面，實現了跨硬體平台的模型無縫遷移與部署。
📊 競品分析▸ Show
| 競爭對手 | 核心優勢 | 算力支援策略 | 價格/模式 |
|---|---|---|---|
| 無問芯穹 | 異構算力調度、國產晶片適配 | 軟硬體協同，支援多種國產/進口晶片 | Token-based (MaaS) |
| 百川智能 | 模型研發與應用閉環 | 自研模型為主，硬體適配較封閉 | 模型API調用 |
| 智譜AI | 模型生態豐富度 | 雲端算力調度，偏向模型層服務 | API與私有化部署 |
🛠️ 技術深入
- 異構算力調度引擎：透過編譯器優化技術，將不同架構晶片的算力抽象為統一資源池，降低開發者對底層硬體的依賴。
- P/D分離技術：在推理過程中，將預填充（Prefill）與解碼（Decode）階段分離，針對不同階段的計算密集型與記憶體密集型特徵，動態分配最優算力資源。
- 自動化模型壓縮：整合了量化、剪枝與蒸餾技術，在保證模型精度的前提下，顯著降低國產晶片上的推理延遲。
- 統一軟體棧：提供兼容主流深度學習框架（如PyTorch）的介面，使得模型無需重寫即可在異構硬體上運行。
🔮 前景展望AI analysis grounded in cited sources
國產AI晶片市佔率將因軟體生態成熟而顯著提升
無問芯穹等中間件廠商解決了硬體碎片化問題，降低了企業切換至國產晶片的技術門檻。
智能體（Agent）將成為雲端算力消耗的主要驅動力
智能體工作流涉及多次反覆運算與工具調用，其Token消耗量遠高於傳統單輪對話模式。
⏳ 時間線
2023-05
無問芯穹正式成立，獲得天使輪融資
2023-12
發布無穹Infini-AI異構算力平台，開始大規模商業化運作
2024-04
完成數億元人民幣A輪融資，估值進入獨角獸行列
2024-09
與多家國產晶片廠商達成戰略合作，深化異構算力生態
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 虎嗅 ↗
每週 AI 簡報
每週一封，可隨時退訂。