Bedrock TTFT 與配額新 CloudWatch 指標

🔑 增強重點摘要

• •TTFT 指標僅適用於串流 API，如 ConverseStream 和 InvokeModelWithResponseStream，且僅在串流配置啟用時發出。[5]
• •EstimatedTPMQuotaUsage 涵蓋所有推論 API，包括 Converse 和 InvokeModel，並考慮快取寫入 token 及輸出消耗倍數。[5]
• •這些指標每分鐘更新一次，適用於跨區域推論和區域內推論，且無需 API 變更或選擇加入。[5]
• •TTFT 指標命名空間為 AWS/Bedrock，支援用於設定 CloudWatch 警報監控延遲劣化及建立 SLA 基準。[2][5]

🛠️ 技術深入

• •TTFT 單位為毫秒 (Milliseconds)，測量從請求發送到接收首個 token 的延遲，僅在 Agents 的 invokeAgent 或 invokeInlineAgent 串流請求啟用時發出。[2]
• •EstimatedTPMQuotaUsage 追蹤每分鐘 token (TPM) 配額消耗百分比，包括快取寫入 token 和輸出 burndown 倍數，適用於 Converse、InvokeModel、ConverseStream 和 InvokeModelWithResponseStream API。[5]
• •指標命名空間為 AWS/Bedrock，維度包括 ModelId、Operation 等，可透過 CloudWatch 控制台、CLI 或 API 存取，無需額外 IAM 權限外於標準 CloudWatch 存取。[3][5]
• •支援 CloudWatch 指標數學運算，如利用百分比計算 (current_usage/SERVICE_QUOTA()*100) 來設定配額警報。[7]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線