來源Vercel News•較早收集於 21h
透過 Vercel Drains 匯出 AI Gateway 追蹤資料
#observability#trace-drains#otlpvercel-ai-gatewayvercelai gatewayopentelemetrysentry
用 OpenTelemetry 監控 AI 供應商路由、重試、延遲與成本，且不會匯出提示詞。
30 秒速覽
有什麼變化
每個 AI Gateway 請求現在都會產生 OpenTelemetry 追蹤資料，涵蓋完整請求生命週期。
為什麼重要
這項功能讓 AI 應用團隊能在不暴露提示詞或完成內容的情況下，更清楚掌握供應商路由、重試、延遲與單次請求成本。它可簡化正式環境除錯與多供應商可靠性監控，但團隊仍需留意每個 Drain 的傳送費與資料傳輸成本。
下一步行動
在 Vercel 團隊設定中配置取樣式 Trace Drain，並確認路由、重試、延遲與成本追蹤是否成功送達你的 OTLP 相容可觀測性平台。
誰應關注：Developers & AI Engineers
關鍵要點
- •每個 AI Gateway 請求現在都會產生 OpenTelemetry 追蹤資料，涵蓋完整請求生命週期。
- •追蹤資料包含模型與供應商路由、備援與重試、Token 用量、成本、延遲、狀態及歸因中繼資料。
- •Pro 與 Enterprise 團隊可透過 Vercel Drains，將追蹤資料導向相容的可觀測性平台。
- •追蹤資料不包含提示詞與完成內容，團隊也能透過取樣控制管理匯出流量。
- •每個 Drain 每成功傳送 1,000 筆追蹤資料收費 0.05 美元，另加每 GB 0.50 美元的資料傳輸費。
深度解析
本篇為 AI 生成分析，非原文內容。
增強重點摘要
- •Vercel AI Gateway 採用 OpenTelemetry 標準，確保了與業界主流可觀測性工具的互操作性，無需依賴專有 SDK 即可整合。
- •此功能旨在解決 AI 應用開發中常見的「黑箱」問題，特別是針對多模型供應商（如 OpenAI、Anthropic、Google）切換時的效能一致性監控。
- •Vercel Drains 的架構設計允許開發者在邊緣（Edge）層級進行資料過濾，這對於降低大規模 AI 應用產生的可觀測性成本至關重要。
- •該追蹤資料整合了 Vercel 的部署環境資訊，使開發者能直接將 AI 請求延遲與特定的部署版本（Deployment ID）進行關聯分析。
- •透過將 AI Gateway 數據匯出至 Braintrust 或 Sentry 等平台，團隊可實現自動化的 AI 效能回歸測試與異常警報機制。
競品分析
核心定位
- Vercel AI Gateway
- 邊緣層 AI 路由與監控
- LangSmith (LangChain)
- AI 應用開發與評估平台
- Helicone
- AI 代理與 API 監控
追蹤標準
- Vercel AI Gateway
- OpenTelemetry
- LangSmith (LangChain)
- 專有格式
- Helicone
- 專有格式/OpenTelemetry
部署方式
- Vercel AI Gateway
- Vercel 平台原生
- LangSmith (LangChain)
- SDK 整合
- Helicone
- Proxy/SDK 整合
定價模式
- Vercel AI Gateway
- 按追蹤量與流量計費
- LangSmith (LangChain)
- 按請求量與功能分級
- Helicone
- 按請求量與功能分級
| 特性 | Vercel AI Gateway | LangSmith (LangChain) | Helicone |
|---|---|---|---|
| 核心定位 | 邊緣層 AI 路由與監控 | AI 應用開發與評估平台 | AI 代理與 API 監控 |
| 追蹤標準 | OpenTelemetry | 專有格式 | 專有格式/OpenTelemetry |
| 部署方式 | Vercel 平台原生 | SDK 整合 | Proxy/SDK 整合 |
| 定價模式 | 按追蹤量與流量計費 | 按請求量與功能分級 | 按請求量與功能分級 |
技術深入
- 追蹤資料格式遵循 OTLP (OpenTelemetry Protocol) 規範，支援透過 HTTP 傳輸。
- 每個請求產生的 Trace 包含 TraceID、SpanID 以及父子關係，支援分散式追蹤。
- 屬性（Attributes）欄位包含 ai.model.name、ai.vendor.name、ai.usage.total_tokens 等標準化語義慣例。
- 整合了 Vercel 的 Log Drains 基礎設施，利用非同步佇列處理以避免影響 AI 請求的即時回應速度。
- 支援透過 Vercel Dashboard 設定取樣率（Sampling Rate），可針對特定環境（如 Production vs Preview）調整資料量。
前景展望基於引用來源的 AI 分析
AI 可觀測性將成為企業級 AI 應用的標準配置。
隨著 AI 應用複雜度提升，企業對成本控制與效能除錯的需求將迫使可觀測性工具成為基礎設施的一環。
OpenTelemetry 將統一 AI 應用層的監控標準。
Vercel 等平台對 OTLP 的廣泛支援將減少開發者對單一監控供應商的依賴，推動生態系統的開放化。
時間線
2023-10
Vercel 正式推出 AI SDK，簡化 AI 應用開發流程。
2024-02
Vercel 發表 AI Gateway，提供 AI API 的快取、速率限制與監控功能。
2025-05
Vercel 擴展 AI Gateway 功能，強化對多模型供應商的路由與備援支援。
2026-08
Vercel 透過 Drains 支援 OpenTelemetry 匯出，實現 AI 請求的可觀測性。
- 2023-10Vercel 正式推出 AI SDK，簡化 AI 應用開發流程。
- 2024-02Vercel 發表 AI Gateway，提供 AI API 的快取、速率限制與監控功能。
- 2025-05Vercel 擴展 AI Gateway 功能，強化對多模型供應商的路由與備援支援。
- 2026-08Vercel 透過 Drains 支援 OpenTelemetry 匯出，實現 AI 請求的可觀測性。
AI 週報
閱讀本週精選 AI 大事摘要 →
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Vercel News ↗
每週電子報
每週一封，可隨時退訂。