GitHub Copilot 轉為依實際使用量收費

🔑 增強重點摘要

• •GitHub 引入了基於 Token 的動態計費機制，旨在將高昂的推理成本從固定訂閱費用中剝離，以應對大型語言模型（LLM）在處理複雜代碼庫時的資源消耗。
• •此項變動主要影響企業級用戶與重度開發者，GitHub 提供了新的監控儀表板，讓組織能夠即時追蹤 AI 使用量並設定預算上限，以避免意外的費用支出。
• •為了緩解用戶對成本不可控的擔憂，GitHub 同步推出了針對特定輕量級模型的優化選項，允許用戶在執行簡單任務時切換至成本較低的推理引擎。

🛠️ 技術深入

• •採用基於 Token 的計費架構，精確計算輸入（Prompt）與輸出（Completion）的 Token 數量。
• •後端整合了多層次推理引擎，根據代碼複雜度自動路由至不同規模的 LLM（如 GPT-4o-mini 或 GPT-4o）。
• •引入了快取機制（Semantic Caching），對於重複或高度相似的代碼查詢，系統會優先調用快取結果以降低推理成本。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線