🕸️LangChain Blog•最新收集於 23m
LangSmith 推出調校評估器
#agent-evaluation#production-traces#quality-feedbacklangsmith-tuned-evaluatorslangsmithlangchainperceived-error
💡利用 LangSmith 新評估器從正式環境追蹤記錄中找出並修正真實的代理程式錯誤。
⚡ 30-Second TL;DR
有什麼變化
推出 LangSmith Tuned Evaluators，提供新的評估能力。
為什麼重要
AI 團隊可以將代理程式在真實環境中的行為與品質評估連結，而不必只依賴離線測試集。這有助於縮短診斷正式環境故障及提升代理程式可靠性的回饋週期。
下一步行動
檢視 LangSmith 的正式環境追蹤記錄，並在一批代理程式執行結果上測試搭配 Perceived Error 的 Tuned Evaluators。
誰應關注：Developers & AI Engineers
關鍵要點
- •推出 LangSmith Tuned Evaluators，提供新的評估能力。
- •將品質回饋附加至正式環境的追蹤記錄。
- •初期支援 Perceived Error，協助找出並修正代理程式錯誤。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Tuned Evaluators 利用 LangSmith 平台上的歷史追蹤數據（Traces）進行微調，使評估模型能更精確地模擬特定團隊的品質標準。
- •此功能旨在解決通用評估模型（如 GPT-4o）在處理特定領域術語或複雜業務邏輯時，與人類主觀判斷不一致的問題。
- •開發者可以透過 LangSmith 的 UI 介面，將人工標註的錯誤樣本直接轉化為評估器的訓練數據，實現閉環優化。
- •Perceived Error 評估器特別針對 AI 代理（Agent）在多步驟推理過程中的邏輯斷層進行偵測，而非僅僅檢查最終輸出結果。
- •該系統支援持續學習機制，當團隊在生產環境中修正更多錯誤時，評估器會自動更新權重以提升準確度。
📊 競品分析▸ Show
| 特色 | LangSmith Tuned Evaluators | Arize Phoenix | Weights & Biases Prompts |
|---|---|---|---|
| 核心定位 | 針對 LangChain 生態的評估微調 | 企業級 AI 可觀測性與評估 | 模型實驗追蹤與評估 |
| 評估方式 | 基於歷史追蹤數據微調評估器 | 基於 LLM-as-a-judge 與統計分析 | 基於 Prompt 變體測試與比較 |
| 定價模式 | 依據追蹤量與評估運算量計費 | 企業級訂閱制 | 依據儲存空間與運算量計費 |
🛠️ 技術深入
- 採用監督式微調（Supervised Fine-tuning）技術，將用戶在 LangSmith 標記的 Trace 數據轉換為評估器的訓練集。
- 支援將評估邏輯封裝為可部署的 API 端點，允許在 CI/CD 流程中自動執行。
- 整合了 LangSmith 的數據集管理功能，確保評估器在面對不同版本 Agent 時的一致性。
- 支援自定義評估指標（Custom Metrics），允許開發者在 Perceived Error 基礎上疊加業務特定規則。
🔮 前景展望AI analysis grounded in cited sources
AI 評估將從通用模型轉向專屬模型（Domain-specific Evaluators）。
隨著 Tuned Evaluators 的普及，企業將不再依賴通用 LLM 進行評估，而是建立符合自身業務邏輯的評估模型以降低誤判率。
自動化評估將成為 AI 代理開發的標準 CI/CD 流程。
將評估器直接嵌入生產環境追蹤記錄，使得 AI 系統的品質保證（QA）能從離線測試轉向即時監控與自動修正。
⏳ 時間線
2023-04
LangSmith 平台正式發布，提供 LLM 應用開發的追蹤與除錯功能。
2024-02
LangSmith 推出評估（Evaluation）模組，支援自動化測試與數據集管理。
2025-06
LangSmith 引入進階分析功能，強化對 AI 代理行為的深度洞察。
2026-08
正式推出 LangSmith Tuned Evaluators，實現評估器的客製化微調。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： LangChain Blog ↗