LangSmith 是一个 LLM 可观测性平台，面向语言模型与 AI 应用的调试、评估和监控。该技能以安装包与文档形式提供 Python SDK 及使用方式，核心围绕追踪、评估、数据集与监控四部分展开。
用途与适用场景
当需要排查 LLM 应用问题（提示词、链、智能体）、按数据集系统评估模型输出、监控生产系统、为 AI 功能建立回归测试、分析延迟与 Token 用量及成本，或协作进行提示工程时，可使用 LangSmith。资料也给出替代选择：深度学习实验跟踪与模型训练可用 Weights & Biases，通用 ML 生命周期与模型注册可用 MLflow，ML 监控与数据漂移检测可用 Arize/WhyLabs。
主要能力
追踪：捕获所有 LLM 调用的输入、输出和延迟。基本用法是通过 @traceable 装饰器标注函数，或使用 wrap_openai 包装 OpenAI 客户端实现自动追踪。运行（run）是一次执行单元，如 LLM 调用、链或工具；多个运行构成层级化追踪，展示完整执行流。可用 run_type 区分 chain、retriever、llm 等类型。项目（Project）用于组织相关运行，可通过 LANGSMITH_PROJECT 环境变量或装饰器参数指定。还支持 tracing_context 批量继承项目、标签和元数据，支持手动 trace 上下文、process_inputs 脱敏处理以及采样率控制。
评估与数据集：通过 Client 创建数据集并添加输入输出示例，使用 evaluate 函数对模型运行评估，可传入自定义评估器或 LangChainStringEvaluator 内置评估器（如 qa、cot_qa），并读取聚合指标。支持在 CI/CD 中运行评估并在指标低于阈值时失败，也支持 pytest 集成。
监控与反馈：Client API 可列出运行、读取运行详情、创建反馈评分；支持 AsyncClient 异步遍历运行；可从 Hub 拉取提示词；可收集用户评分等反馈并归一化为 0-1 分数。
集成方式
资料说明可与 OpenAI、Anthropic、LangChain、LlamaIndex 集成。启用 LANGSMITH_TRACING=true 后，LangChain 链的运行自动被追踪。安装命令为 pip install langsmith，并设置 LANGSMITH_API_KEY 与 LANGSMITH_TRACING 环境变量。
最佳实践与限制
建议统一项目与运行命名，补充版本、环境、用户等元数据，生产环境使用采样控制数据量，从生产案例构建测试集，在 CI/CD 中自动化评估，并跟踪 Token 用量与延迟趋势。常见问题包括追踪未出现时需确认环境变量与连接、追踪导致高延迟时可启用后台批处理或采样、大负载时可通过 process_inputs 隐藏敏感或大字段。资料标注版本 0.2.0+，许可证为 MIT。文档地址 https://docs.smith.langchain.com，Python SDK 地址 https://github.com/langchain-ai/langsmith-sdk，Web 应用地址 https://smith.langchain.com。