OpenAI 安全監控增加 20% 運算成本
OpenAI 為風險最高的 AI 工作導入監控系統，表示該系統會讓受監控工作負載的運算成本增加約 20%。作為調整措施的一部分，公司也暫停部分前沿模型訓練兩週。
Search
Tag: #monitoring17 results
Vercel Observability 新增自訂指標
Vercel Functions 現在可發送自訂指標，並與內建的可觀測性資料一併分析。開發者可在 Vercel Observability 中篩選、彙總、視覺化及查詢這些指標。
在 Amazon Bedrock 上大規模自動化 AI 維運
AWS 推出了 Amazon Bedrock Ops Alert，這是一套三層式的監控解決方案，旨在主動偵測並管理 AI 工作負載的維運問題。它能自動進行警報分類、建立支援案例，並為 SRE 團隊提供情境化的通知。
Bedrock TTFT 與配額新 CloudWatch 指標
AWS 推出 Amazon Bedrock 的兩個新 CloudWatch 指標：TimeToFirstToken (TTFT) 和 EstimatedTPMQuotaUsage。這些指標提升推論工作負載的操作可見度，可設定警報、建立基準並主動管理容量。
Amazon SageMaker LLM 推論的全面可觀測性解決方案
AWS 推出了針對託管於 Amazon SageMaker 上 LLM 的全新可觀測性解決方案。該方案利用 Amazon Managed Grafana，為基礎設施效能與模型品質指標提供統一的監控視圖。
ServiceNow 推出 AI 代理控制塔
ServiceNow 推出新的 AI 控制塔，整合收購的 Veza 和 Traceloop。它監控 AI 代理和工作流程，以利更安全的部署。此工具為企業 AI 運作提供集中監督。
LLM 監控：漂移、重試與拒絕模式
介紹 AI 評估堆疊，用以監控隨機 LLM 行為，超越傳統測試。將評估分為第 1 層確定性斷言檢查語法，以及第 2 層基於模型的語義檢查。透過早期偵測故障，實現企業級 AI 並降低成本。
Amazon Bedrock 推出細粒度成本歸因
Amazon Bedrock 推出細粒度成本歸因功能，用於精確追蹤費用。AWS 部落格解釋其運作方式，並示範成本追蹤情境。此功能有助使用者有效管理基礎模型的成本。
使用 Amazon Bedrock AgentCore 監控醫療營收週期 AI 代理
Rede Mater Dei de Saúde 使用 Amazon Bedrock AgentCore 監控營收週期中的 AI 代理。處理大型醫院網路中影響現金流與拒付風險的數千決策。本文詳述其實作經驗。
Commvault 為失控 AI 代理提供 Ctrl+Z
Commvault 推出 AI Protect，可在 AWS、Azure 和 GCP 環境中發現並監控 AI 代理。該軟體備份資料，並在出現問題時可回滾代理動作。它為失控 AI 行為提供安全網。