用途：在 LangSmith 中创建评估器，衡量智能体在数据集上的表现。支持两类评估器：LLM as Judge（用大模型打分）与自定义代码（确定性逻辑）。
主要能力：可编写自定义指标、LLM 评判器、代码评估器；支持精确匹配、轨迹校验、单步节点校验等；可组合多个评估器，同时运行主观（LLM）与客观（代码）评估；支持异步并行评估；可将评估器上传到 LangSmith，在新运行上自动评估。
使用方式：需配置 LANGSMITH_API_KEY（必填）、LANGSMITH_WORKSPACE_ID（可选）、OPENAI_API_KEY（LLM 评判用）；安装依赖 pip install langsmith langchain-openai python-dotenv。评估器支持两种签名：本地运行用 (inputs, outputs, reference_outputs)，上传到 LangSmith 用 (run, example)，返回以指标名为键、分数为值、可选 comment 的字典。LLM 评判建议用结构化输出（with_structured_output）。运行评估用 client.aevaluate(run_agent, data="数据集名", evaluators=[...], experiment_prefix=..., max_concurrency=4)。上传脚本位于 skills/langsmith-evaluator/scripts/，命令如 python upload_evaluators.py list、upload my_evaluators.py --name "Trajectory Match" --function trajectory_match --dataset "Skills: Trajectory" --replace、delete "Trajectory Match"；支持 --name、--function、--dataset、--project、--sample-rate、--replace、--yes 等选项。
适用场景：最终回复质量评估、单步输出校验、工具调用轨迹与效率评估等。
限制：删除或替换等破坏性操作会弹出确认提示，应等待用户输入；除非用户明确要求，否则不要使用 --yes。资料未提供收费、价格与平台支持等细节。