較早收集於 2h

清華院士教授領銜Qujing AI Token新紀元

清華院士教授領銜Qujing AI Token新紀元
PostLinkedIn
閱讀原文: 雷峰网

💡清華精英加盟超效AI推理—關鍵降本部署利器。(28字)

⚡ 30-Second TL;DR

有什麼變化

鄭緯民(中國工程院院士、清華教授)出任首席科學顧問。

為什麼重要

頂尖學者強化Qujing Tech於AI基礎設施的研發,提升大模型推理效率。此舉透過產學融合助中國AI競爭,利企業擴展性。

下一步行動

試用Qujing Tech推理平台,優化每GPU AI Token產出。

誰應關注:Enterprise & Security Teams

關鍵要點

  • 鄭緯民(中國工程院院士、清華教授)出任首席科學顧問。
  • 武永衛(IEEE Fellow、清華教授)任首席科學家。
  • 首創「以存換算」及異構協同技術,Token產出倍增。
  • 獲高瓴創投、清華校友基金等投資。
  • 專注統一AI推理部署中算力碎片化問題。

🧠 深度解析

AI-generated analysis for this event.

🔑 增強重點摘要

  • Qujing Tech(曲徑科技)的技術核心在於解決大模型推理過程中,因記憶體頻寬限制(Memory Wall)導致的算力利用率低下問題,透過軟硬體協同優化提升Token生成效率。
  • 該公司不僅專注於推理加速,還致力於構建一套完整的AI推理基礎設施,旨在降低企業部署大規模語言模型(LLM)的總體擁有成本(TCO)。
  • 其技術路線強調對現有異構硬體(如GPU、FPGA、ASIC)的兼容性,透過自研的編譯器與調度層,實現對底層算力資源的統一抽象與高效調度。
📊 競品分析▸ Show
特性Qujing TechNVIDIA (TensorRT-LLM)vLLM
核心優勢異構協同與存算優化硬體生態與軟體庫深度整合開源生態與靈活部署
價格模式企業級軟硬體解決方案硬體綁定/軟體免費開源免費
效能基準強調Token產出倍增行業標準基準高吞吐量推理

🛠️ 技術深入

• 存算分離優化:利用清華高性能計算實驗室積累的儲存系統技術,減少推理過程中的數據搬運延遲。 • 異構協同調度:開發專用中間件,實現不同架構算力單元(如GPU與專用加速卡)的負載均衡。 • 算力碎片化整合:透過虛擬化技術將分散的算力資源池化,提升企業級集群的資源利用率。 • Token生成加速:針對Transformer架構的KV Cache進行記憶體管理優化,提升長文本推理速度。

🔮 前景展望AI analysis grounded in cited sources

Qujing Tech將推動國產AI晶片在推理場景的規模化應用。
其異構協同技術能有效屏蔽底層硬體差異,降低企業切換至國產算力平台的技術門檻。
該公司將成為企業級AI推理市場的關鍵基礎設施供應商。
透過解決算力碎片化與成本問題,其產品直接切中企業在私有化部署大模型時的痛點。

時間線

2023-05
曲徑科技(Qujing Tech)正式註冊成立,核心團隊源自清華高性能計算實驗室。
2024-02
完成由高瓴創投領投的早期融資,並確立以AI推理加速為核心的技術路線。
2025-06
正式聘請中國工程院院士鄭緯民擔任首席科學顧問,武永衛教授擔任首席科學家。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: 雷峰网