LangSmith Engine automates agent debugging and failure resolution

•LangSmith Engine 由一個「深度代理」驅動，該代理能夠存取追蹤數據、評估器回饋和代理的原始碼（如果已連接），以識別並將生產故障歸類為具體問題，從而實現自動化診斷和修復建議。
•除了偵測和修復，LangSmith Engine 還能主動為特定故障模式生成自定義的線上評估器，並將失敗的追蹤數據納入離線評估數據集，以防止未來回歸並強化測試套件。
•LangSmith Engine 與 LangSmith 的現有追蹤和評估基礎設施無縫整合，而 LangSmith 本身是一個「框架無關」的平台，支援任何大型語言模型（LLM）應用程式或 AI 代理，包括 OpenAI SDK、Anthropic、自定義實作、LangChain 或 LangGraph。
•該平台還引入了 LangSmith LLM Gateway，提供運行時治理功能，例如在請求到達模型之前設定費用限制和編輯敏感數據，並將這些政策事件整合到 LangSmith Engine 中進行分類和處理。

📊 競品分析▸ Show

功能/產品	LangSmith	Braintrust	Arize Phoenix / AX	Langfuse
核心功能	代理除錯、可觀察性、評估、自動修復、PR草稿	評估優先的可觀察性、自動評分、實時監控、生產反饋循環	開源追蹤 (Phoenix)、託管平台 (AX)、ML+LLM統一、CI/CD整合	輕量級追蹤、監控、提示管理、評估
框架支援	框架無關 (LangChain, LangGraph, OpenAI SDK, Anthropic, 自定義)	框架無關，IDE原生可觀察性	OpenTelemetry友好，供應商無關追蹤	支援多種框架 (OpenAI SDK, LangChain, LlamaIndex等)，開源核心
自動化	自動偵測、診斷、修復、PR草稿、評估器生成	自動化評分、從生產日誌生成測試數據集	自動化AI和程式碼評估，防止回歸	自動化儀器追蹤
定價模式	開發者免費 (5k追蹤/月)，Plus $39/用戶/月 (10k追蹤/月)，企業版自定義，自託管僅限企業	免費雲端層 (50k觀察/月)，Pro $59/月起，自託管免費	Phoenix開源免費，AX定價未明確說明	開源核心免費，部分功能需企業授權
優勢	完整的代理開發生命週期自動化，深度整合LangChain生態系統，LLM Gateway提供運行時治理	評估優先，專為AI數據規模設計的儲存和查詢層，非技術用戶友好	開源靈活性，OpenTelemetry兼容，統一ML和LLM監控	易於設定，開源自託管選項，強大的追蹤功能

LangSmith Engine 由一個「深度代理」驅動，該代理能夠存取追蹤數據、評估器回饋以及代理的原始碼（如果已連接到程式碼儲存庫）。
LangSmith 的核心架構包含前端（處理請求和顯示UI）、後端（管理API請求、記錄模型執行追蹤、處理並儲存元數據）。
平台使用三種資料庫系統：ClickHouse 作為追蹤和回饋的主要資料儲存（高容量數據），PostgreSQL 用於事務性工作負載和操作數據，Redis 作為記憶體內鍵值資料庫用於快取。
LangSmith Engine 監控多種信號類型，包括明確錯誤（工具呼叫失敗、超時）、線上評估器失敗、追蹤異常（延遲峰值、token溢出、意外步驟計數）、負面用戶回饋以及代理的非預期行為。
如果連接到程式碼儲存庫，Engine 能夠讀取實時程式碼庫以診斷問題並生成修復建議，並能為 LangChain、LangGraph 和 Deep Agents 等構建的代理提出程式碼更改。
LangSmith 支援在 AWS、GCP 或 Azure 上進行自託管部署，提供不同的配置選項，包括僅可觀察性與評估，或包含代理部署的完整平台。
平台內部使用「熱度」（'heat'）作為一個關鍵指標，影響代理的性能和決策制定。

AI代理的開發與部署週期將顯著加速，減少人工介入。

LangSmith Engine 自動化了偵測、診斷和修復生產環境故障的循環，並僅在合併請求階段需要人工審核，大幅縮短了從故障發現到解決的時間。

企業將能更可靠地部署複雜的AI代理，降低生產風險。

透過自動生成回歸評估器和從生產故障中創建測試數據集，LangSmith Engine 有助於持續強化代理的韌性，並在部署前捕獲更多潛在問題。

LLM應用程式的運行時治理和成本控制將更加精細化。

LangSmith LLM Gateway 的引入，允許在請求到達模型之前設定費用限制和編輯敏感數據，並將這些政策事件整合到 LangSmith Engine 中進行管理，從而實現更嚴格的運行時治理。

2022-10

Harrison Chase 推出 LangChain 作為開源專案。

2023-07

LangSmith 推出封閉測試版，作為 LLM 應用程式的監控和評估平台。

2024-02

LangChain 完成由 Sequoia Capital 領投的 2500 萬美元 A 輪融資。

2024-07

LangSmith 轉為全面商業產品，開始收取使用費。

2025-10

LangChain 獲得 IVP 領投的 1.25 億美元 B 輪融資，估值達到 12.5 億美元，成為獨角獸公司。

2026-05

LangSmith Engine 推出公測版，實現代理除錯循環的自動化。

LangSmith Engine 自動化代理除錯與故障修復