Search

Tag: #ab-testing5 results

直接在生產環境中對模型進行 A/B 測試

Together AI 推出端點層級的生產環境模型 A/B 測試功能。不同於 Shadow Traffic，這種方法能衡量真實使用者是否更偏好候選模型。

Together AI BlogMedia•5d ago#ab-testing#model-evaluation#production-inference

Amazon Bedrock 上的 AI 驅動 A/B 測試引擎

本教學示範使用 Amazon Bedrock、ECS、DynamoDB 與 MCP 建構 AI 驅動 A/B 測試引擎。透過使用者脈絡提升傳統 A/B 測試的變體分配智慧度。改善實驗效率與決策。

AWS Machine Learning BlogOfficial•Mar 18#ab-testing#user-context#bedrock-apps

使用 SageMaker 和 MLflow 建構 Strands Agents

本文示範使用 Strands Agents SDK 與 SageMaker 部署的基礎模型建構 AI 代理。涵蓋部署 JumpStart 模型、整合 Strands、透過 SageMaker Serverless MLflow 增加可觀測性、跨模型變體的 A/B 測試，以及使用 MLflow 指標評估效能。在您控制的基礎設施上實現生產級代理。

AWS Machine Learning BlogOfficial•Apr 27#ai-agents#observability#ab-testing

Vercel Flags 現支援 JSON 值

Vercel Flags 現支援 JSON 值，擴展既有布林、字串及數字類型支援。此功能讓開發者能將多個相關旗標合併為單一旗標，例如用於 A/B 測試 AI 模型，包含 model、temperature 及 max_tokens 等參數。適合漸進式流量路由、A/B 實驗或供應商問題時快速切換模型。

Vercel NewsMedia•May 7#feature-flags#ab-testing#json