實現 AI 永續發展：需要更好的數據與使用洞察

AI碳足跡的計算通常遵循核心公式：碳排放量 = 計算時數 × 功耗 × PUE（電力使用效率）× 電網碳強度。

模型推論的能源估算採用基於時間的方法，考慮伺服器回應時間、系統最大功率、伺服器利用率以及資料中心效率，並涵蓋GPU和非GPU硬體組件，以及延遲和回應時間的變化。

為優化AI模型的能源效率，可採用以下技術：

• 精準度優化： 使用較低的數值精準度，例如從FP32轉換為FP16或INT8量化，以減少記憶體使用並提高吞吐量，同時可將推論的能耗降低高達60%。
• 硬體選擇與優化： 選用最新一代GPU或專用AI處理器（如TPU），這些硬體通常具有更高的每瓦性能；優化記憶體使用；以及採用高效的冷卻系統。
• 演算法效率提升： 實施剪枝（移除神經網路中不必要的權重）、量化（降低數值精準度）、知識蒸餾（將知識從大型模型轉移到更小、更高效的模型）、遷移學習（利用預訓練模型而非從頭訓練），以及使用更高效的優化器和學習率排程。
• 基礎設施策略： 選擇由再生能源供電的資料中心區域；實施碳感知排程，在電網碳強度最低時運行密集型任務；根據工作負載需求調整資源規模；以及利用資料中心內的先進冷卻技術。
• 模型架構優化： 選擇針對特定任務的小型模型，而非通用型大型模型，以降低計算需求。