⚛️較早收集於 46m

國產算力正在進入 Token 標準化時代

國產算力正在進入 Token 標準化時代
PostLinkedIn
⚛️閱讀原文: 量子位
#domestic-chipsdomestic-computing-infrastructurenpugpu

💡了解為何僅靠硬體無法擴展國產 AI,以及為何 Token 標準化是下一個關鍵門檻。

⚡ 30-Second TL;DR

有什麼變化

硬體效能已不再是國產 AI 發展的唯一限制因素。

為什麼重要

標準化將透過降低 AI 開發者的整合複雜度,加速國產晶片的採用。這將促使產業從純粹的硬體競爭,轉向軟體定義的基礎設施效率競爭。

下一步行動

評估您目前的推論技術堆疊,找出在部署於國產 NPU/GPU 叢集時,硬體抽象層存在的效能瓶頸。

誰應關注:Developers & AI Engineers

關鍵要點

  • 硬體效能已不再是國產 AI 發展的唯一限制因素。
  • 關鍵瓶頸在於異構硬體與模型可用 Token 之間的工程化轉化層。
  • Token 生成的標準化對於擴展國產 AI 應用至關重要。

🧠 深度解析

背景與延伸:來自公開資料,非原文內容。引用 30 個來源。

🔑 增強重點摘要

  • Token作為AI處理信息的最小原子單元,已成為衡量算力消耗、成本計價及產業競爭的核心標尺,其吞吐量是算力的核心。
  • 中國正透過「全國一體化算力網」國家戰略,旨在整合分散、異構的算力資源,實現「算力像水電一樣即取即用」,以解決資源利用率低下的問題。
  • 隨著Agentic AI等應用興起,Token消耗量呈現指數級增長,導致算力需求非線性提升(例如Token量增長10倍可能導致算力需求增長100倍),加劇了算力供給的緊迫性。
  • 「算電協同」政策要求新建大型算力中心必須具備綠電供應、儲能設施及電網承載方案,標誌著中國算力產業從粗放式擴張轉向更注重能源效率和可持續性的發展模式。
  • 異構硬體整合面臨巨大挑戰,不同廠商(如NVIDIA、昇騰、寒武紀、海光)的晶片擁有不兼容的軟體棧,導致GPU利用率普遍低於30%,急需標準化解決方案。

🛠️ 技術深入

  • 異構計算整合不同指令集和架構的計算單元(如CPU、GPU、DSP、ASIC、FPGA),以克服單一架構的性能與功耗瓶頸。
  • Token是AI處理信息的最小可計算單元,透過分詞將自然語言或非結構化數據映射為數字ID,供Transformer模型進行矩陣運算。
  • 每個Token的處理涉及GPU完整的自注意力與矩陣運算,計算複雜度約為O(n²),導致Token數量與算力需求呈非線性增長關係。
  • 中國已發布《算力互聯互通標準體系1.0》及《全國一體化算力網算力並網技術要求》,規範頂層架構、統一標識體系、關鍵互聯技術及API接口互通,以實現算力資源的管理、調度與計量。
  • 為提升效率,技術創新包括:
    • GPU內核態虛擬化:如聯想萬全異構智算平台在GPU驅動層實現精準資源隔離與調度,將vGPU利用率從80%提升至95%。
    • 低位寬量化:如清程極智赤兔推理引擎透過軟體方案在不具備FP4/FP8硬體能力的設備上支援低位寬量化,顯著降低算力門檻。
    • 推理加速引擎:多家公司開發專有引擎,深度優化模型推理過程,提升單位GPU的Token產出效率。
    • 統一API接口與智能路由:如AI Ping平台提供統一接口,透過智能算法自動匹配最優服務商,降低成本並提升吞吐與延遲表現。

🔮 前景展望AI analysis grounded in cited sources

Token標準化將顯著加速中國國內AI應用的普及與規模化。
標準化的Token生產和統一的算力網絡將降低企業獲取和利用AI算力資源的技術與成本門檻,使AI應用更為普及。
中國全國算力網絡在整合多樣化國產硬體和確保跨地域低延遲服務方面將持續面臨挑戰。
目前存在多種不兼容的硬體平台,且「東數西算」策略對即時應用造成延遲問題,需要持續的互聯互通和調度技術創新。
「算電協同」政策將根本性地改變AI算力中心的選址和建設模式,優先考慮綠色能源豐富的地區。
新法規強制要求大型算力中心具備綠電供應和能源效率,將投資導向西部地區豐富的可再生能源,並催生海底數據中心等創新解決方案。

時間線

2022-02
中國啟動「東數西算」工程,旨在優化算力資源與能源匹配,構建國家算力樞紐節點。
2023-12
國家發展改革委、國家數據局等部門聯合印發《關於深入實施「東數西算」工程加快構建全國一體化算力網的實施意見》,推動算力基礎設施從物理集聚邁向邏輯統一。
2024-12
《算力互聯互通標準體系1.0》發布,為中國算力互聯成網發展提供指導框架。
2025-05
工業和信息化部印發《算力互聯互通行動計劃》,提出到2026年建立較完備的算力互聯互通標準體系,到2028年基本實現全國公共算力標準化互聯。
2026-05
中國發布《關於促進人工智慧與能源雙向賦能的行動方案》,要求大型算力中心需具備綠電供應和儲能設施,推動「算電協同」。
2026-05
中國算力平台(北京)正式上線,接入全國總平台,具備算力態勢感知監測和供需匹配功能。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: 量子位

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。