到 2035 年，程式碼生成或將佔 AI 推論需求一半

有什麼變化

ABI Research 預期 AI 推論工作負載將於 2033 年超越訓練工作負載。

為什麼重要

這項預測顯示，相較於單純的模型訓練，生產環境中的推論效率將成為核心基礎設施與成本挑戰。打造程式碼助理的組織應提前規劃持續增加的 token 需求、容量擴充與電力限制。

下一步行動

使用 vLLM 指標為程式碼生成服務堆疊加入監測，並在擴充容量前量測每次請求的 token 數、GPU 使用率與尖峰功耗。