LangSmith 是面向语言模型与 AI 应用的开发平台，用于调试、评估和监控。它适合在排查 LLM 应用问题（提示词、链、智能体）、基于数据集系统化评估模型输出、监控生产 LLM 系统、为 AI 功能构建回归测试、分析延迟与 token 用量与成本，以及协作进行提示词工程时使用。
主要能力
追踪：捕获所有 LLM 调用的输入、输出与延迟。一次 run 是单个执行单元（LLM 调用、链、工具），run 构成层级化的 trace，展示完整执行流程。
评估：使用内置与自定义评估器进行系统化测试。可通过 evaluate 运行数据集评估并输出聚合指标。
数据集：可从生产追踪或手动创建测试集，用 create_dataset、create_examples 添加示例。
监控：在生产中跟踪指标、错误与成本，可收集用户反馈。
集成：可与 OpenAI、Anthropic、LangChain、LlamaIndex 配合使用。
官方资料同时指出，若需要深度学习实验跟踪与模型训练可选 Weights & Biases；若侧重通用 ML 生命周期与模型注册可选 MLflow；若面向 ML 监控与数据漂移检测可选 Arize/WhyLabs。
使用方式
安装：pip install langsmith。设置环境变量：export LANGSMITH_API_KEY="your-api-key"、export LANGSMITH_TRACING=true。
基础追踪可使用 @traceable 装饰器标注函数；也可用 wrap_openai 包装 OpenAI 客户端实现自动追踪。项目用于组织相关 run，可通过环境变量 LANGSMITH_PROJECT 或 @traceable(project_name=...) 设置。
Client API 支持列出 run（list_runs，可带过滤与 limit）、读取 run（read_run）、创建反馈（create_feedback）。
数据集与评估：用 Client 创建数据集与示例；用 evaluate 对模型运行评估，传入数据与评估器，可通过 experiment_prefix 标注实验；结果提供 aggregate_metrics 聚合指标。可使用 LangChainStringEvaluator 等内置评估器。
高级追踪：可用 tracing_context 为一批调用继承项目、标签与元数据；可用 trace 手动创建 run 并结束时写入输出；可用 process_inputs 对输入做脱敏处理；可用 LANGSMITH_TRACING_SAMPLING_RATE 采样。
LangChain 集成：当 LANGSMITH_TRACING=true 时链的运行自动被追踪。
生产监控：可用 client.pull_prompt 从 hub 拉取提示词；可用 AsyncClient 异步列出 run；可用 create_feedback 收集用户反馈。
测试集成：提供 pytest 集成（from langsmith import test），并可在 CI/CD 中运行评估，当聚合指标低于阈值时让 CI 失败。
最佳实践包括：结构化命名、添加元数据（版本、环境、用户信息）、生产采样、从生产案例构建数据集、在 CI/CD 中自动化评估、监控成本。
常见问题：追踪未出现时，需确认 LANGSMITH_TRACING=true 与 LANGSMITH_API_KEY 已设置，并可用 Client 验证连接；追踪导致高延迟时，可启用后台批处理（默认 auto_batch_tracing=True）或使用采样；面对大负载，可用 process_inputs 隐藏敏感或大字段。
资源
文档：https://docs.smith.langchain.com
Python SDK：https://github.com/langchain-ai/langsmith-sdk
Web 应用：https://smith.langchain.com
版本：0.2.0+
许可证：MIT
限制：资料未提供具体收费与价格信息；未提供除上述平台与集成外的其他支持范围说明。