The 370x Growth of AI Tokens: Who is Funding AI?

•AI推理（Inference）成本已超越訓練成本成為AI預算的主要驅動力，預計2026年推理成本將超過500億美元，且每單位Token的成本雖持續下降，但總體消耗量因使用量激增而持續攀升。
•全球AI運算能力自2022年以來每年增長約3.3倍，相當於每7個月翻一番，主要由NVIDIA的AI晶片（佔60%以上）以及Google和Amazon等公司推動。
•2026年第一季度，AI公司吸引了全球81%的風險投資，總額超過2400億美元，創下單一技術領域資本集中度的歷史新高，其中「巨額交易」（超過1億美元）佔2025年AI投資總額的約73%。
•訓練前沿大型語言模型（LLMs）的成本急劇上升，例如GPT-4的計算成本估計為7800萬至1億美元以上，而Google的Gemini Ultra則高達1.91億美元，這使得前沿模型訓練僅限於資金雄厚的組織。
•AI基礎設施的龐大投資正成為美國經濟增長的主要驅動力，僅Amazon、Google、Microsoft和Meta四家公司的年度資本支出就超過7000億美元，約為五年前的7倍。

大型語言模型（LLMs）通常採用Transformer架構，利用注意力機制和上下文感知來處理文本。
訓練LLMs需要大量的計算資源，主要是高階GPU和專用AI硬體，例如Microsoft曾投入數年時間連結數千個Nvidia GPU來訓練ChatGPT。
AI工作負載中，推理（Inference）已成為主導，其需求量是訓練的10倍，且每次用戶互動都需要推理，使其成為AI計算需求的主要驅動力。
推理成本的主要驅動因素包括模型大小、Token數量、上下文長度、硬體選擇、運行時效率和擴展行為。
對於AI工作負載，專用硬體如張量處理單元（TPU）和神經處理單元（NPU）的需求正在增長。
超大規模雲服務提供商正積極開發專有ASIC（例如Google的TPU、Amazon的Inferentia/Trainium）以減少對NVIDIA GPU的依賴，儘管NVIDIA目前仍佔AI加速器市場70%以上的份額。
GPT-3.5級別系統的推理成本在2022年末至2024年末期間下降了280多倍，其中硬體成本每年下降約30%，能源效率每年提高約40%。
生成式AI訓練集群的能耗可能是典型計算工作負載的7到8倍。

AI基礎設施的能源需求將對全球電網造成巨大壓力。

AI數據中心預計到2027年將需要68 GW的電力，到2030年可能達到327 GW，遠超現有數據中心容量，這將導致能源供應緊張和電網不穩定。

資本將持續向少數頂級AI公司和基礎設施提供商集中，加劇市場壟斷。

2026年第一季度AI領域81%的風險投資流向AI公司，且巨額交易佔比極高，預示著行業將由少數資金雄厚的參與者主導。

隨著AI推理成本的持續優化和單位成本下降，AI應用將更廣泛地部署於邊緣設備。

推理成本在2022年至2024年間已下降超過280倍，硬體成本每年下降約30%，能源效率每年提高約40%，這將使AI在智慧手機和筆記型電腦等邊緣設備上運行更具經濟可行性。

2006-01

NVIDIA推出GPU並發布CUDA軟體平台，顯著提升了電腦處理多任務的能力，為AI系統的發展奠定基礎。

2017-06

Transformer模型問世，其訓練成本約為930美元，為許多當今大型語言模型的架構奠定了基礎。

2020-05

GPT-3發布，擁有1750億參數，展示了前所未有的人類般文本生成能力，標誌著生成式AI的興起。

2022-01

全球AI晶片運算能力開始以每年約3.3倍的速度增長，相當於每7個月翻一番。

2024-10

GPT-3.5級別系統的推理成本在2022年末至2024年末期間下降了280多倍。

2026-03

AI公司吸引了全球81%的風險投資，總額超過2400億美元，創下單一技術領域資本集中度的歷史新高。

Token五年增長370倍：誰在為AI公司「印鈔機」充值？