Safely Test Agent Changes Before Merge

•LangSmith是一個閉源的可觀測性和評估平台，專為大型語言模型（LLM）應用程式設計，於2024年2月正式發布，並在2024年7月達到全面可用性。
•該平台提供端到端追蹤、即時監控、自動化測試和提示詞優化工具，旨在幫助開發人員在整個開發生命週期中提升語言模型的性能和可靠性。
•LangSmith具有框架無關性，這意味著它不僅支援LangChain和LangGraph，還能與OpenAI SDK、Anthropic SDK、LlamaIndex及自定義程式碼協同工作。
•LangGraph代理程式中的「時間旅行」功能允許使用者透過檢查點（checkpoint）來回溯對話歷史，查看代理程式在任何時間點的確切狀態，並從該點恢復執行以探索替代路徑。
•於2026年5月推出的LangSmith Engine，能夠自動化代理程式的改進流程，透過監控生產追蹤、將故障歸類為問題、診斷根本原因，並提出修復建議和評估覆蓋範圍。

📊 競品分析▸ Show

平台名稱	主要功能	定價模式
LangSmith	端到端追蹤、評估、除錯、監控、提示詞管理、資料集、自動化修復（Engine）、部署。框架無關。	免費方案（每月5千次追蹤），開發者方案（0美元/席，含5千次追蹤，超額每千次2.50美元），Plus方案（39美元/席/月，含1萬次追蹤，超額每千次2.50美元），企業方案（客製化定價，可自託管）。
Langfuse	開源追蹤、提示詞管理、資料集、評估。可自託管。	開源免費，企業版提供託管服務。
Weights & Biases Weave	實驗追蹤、版本控制、追蹤、日誌記錄、微調、評估、視覺化、協作。	提供免費層級，付費方案依使用量和功能而定。
Helicone	輕量級LLM代理、成本追蹤、內建快取。基於代理的整合。	通常為按使用量計費。
Braintrust	LLM管線的評估和CI/CD，專注於資料集、實驗、分數和評估運行。	提供免費層級，付費方案依使用量和功能而定。

LangSmith SDK採用非同步回呼處理器，將追蹤資料發送到分散式收集器，確保應用程式性能不受影響。
平台支援OpenTelemetry，可與現有的可觀測性管線整合，允許將LangSmith追蹤資料發送到其他工具或將OpenTelemetry資料攝取到LangSmith中。
對於敏感資料，LangSmith支援在客戶的虛擬私人雲（VPC）內自託管SmithDB，其部署涉及三個無狀態組件，運行於物件儲存和Postgres之上。
LangChain的核心架構是模組化和分層的，其中langchain-core庫定義了LLM、提示詞、訊息和底層Runnable介面等基本抽象。
LangGraph是LangChain生態系統的一個組件，透過有向圖實現有狀態、多參與者的LLM應用程式，並透過共享的State物件進行顯式狀態管理。
LangGraph代理程式在每次狀態變更後都會建立「檢查點」，這使得「時間旅行」功能得以實現，使用者可以重播或從先前的檢查點分支出新的執行路徑。

LLM應用程式的開發將更趨近於傳統軟體工程的CI/CD實踐。

LangSmith Preview Builds等工具將代理程式的測試與驗證整合到開發流程中，降低了非確定性AI行為帶來的風險，促使更嚴謹的開發與部署標準。

AI代理程式的自主改進能力將大幅提升。

LangSmith Engine等自動化診斷和修復工具的出現，使得代理程式能夠從生產錯誤中學習並自動生成改進方案，加速了代理程式的迭代週期。

企業對LLM應用程式的可觀測性與評估平台的需求將持續增長。

隨著LLM應用程式的複雜性增加及在生產環境中的部署，對端到端追蹤、即時監控和自動化評估的需求變得至關重要，以確保可靠性和性能。

2022-10

LangChain作為開源專案推出。

2023-04

LangChain公司成立並獲得超過2000萬美元的種子輪融資。

2023-07

LangSmith推出封閉測試版。

2024-01

LangGraph發布，用於構建有狀態、循環、多參與者的LLM應用程式。

2024-02

LangSmith正式發布 (GA)，並宣布獲得2500萬美元的A輪融資。

2026-05

LangSmith Engine推出公開測試版，實現代理程式自動診斷與修復。

在合併前安全測試 Agent 變更