用途:在 LangSmith 上迭代构建在线评估器(online evaluator)。流程为:检查追踪记录并访谈用户 → 提出方向 → 用户选择 → 构建评估器 → 测试、挂载、验证 → 复盘并重复。创建或修改评估器前需先阅读 references/langsmith-api.md。
主要能力与用法:
- 检查追踪:向用户询问 LangSmith 项目名,拉取最近的根级追踪并输出其结构,包括 run 名称与类型、可用输入输出字段名、数据形态与内容(截断样本)、评估器所需字段所在。随后在对话中总结项目、run 类型、输入字段、输出字段和一组代表性样本,并向用户确认应用用途、最关注的质量点、绝不应发生的失败,以及是否设置命名前缀(应用于评估器名、prompt hub handle 和 run rule 显示名)。在理解追踪结构且用户说明关注点之前不应提出评估器。
- 讨论并选择评估方向:阅读 references/evaluator-design.md,基于追踪数据提出 2–3 条评估标准,每条给出名称、类型(LLM-as-judge 或代码)、衡量维度、评分方式(bool、0–1 float、int 及含义)、所需字段与理由,推荐其一并等待用户选择后再实现。
- 构建单个评估器:LLM 评审路径需定义 ResponseSchema(先 reasoning 后 score),编写清晰 rubric 的 prompt,用第 1 步发现的字段设置 variable_mapping,展示方案获批后推送 prompt 并创建评估器,报告评估器 ID。代码评估路径需编写自包含的 perform_eval(run, example=None),仅使用内置与标准库,以字典方式访问 run(如 run.get("outputs")),返回 {"key", "score", "comment"},展示代码获批后创建并报告 ID。
- 测试、挂载与验证:挂载前询问采样率(1.0、0.5、0.1 或自定义),不静默默认;不确定时建议初始用 1.0。询问是否先用已有追踪测试,因为 run rule 只对新追踪触发。代码评估器直接对拉取的根级追踪执行 perform_eval 并传入含 inputs、outputs、attachments 的字典以捕获运行时错误;LLM 评估器则核对 variable_mapping 与 prompt 占位符、字段存在性与数据意义。发现错误需修复重建后再挂载。随后创建 run rule 连接评估器与追踪项目,显示名应用命名前缀,并检查挂载状态、最近反馈与分数、分数是否符合预期、边界情况(空输出、报错 run、异常结构)。
- 复盘:说明名称与 ID、质量维度与评分、所用字段、采样率与限制,请用户批准、修改、放弃或选择下一方向;继续时复用追踪结论并提出不同质量维度。
限制与不变量:每个评估器只对应一个质量维度;不猜测字段名,必须先检查追踪;发起 API 调用前需展示配置并获用户批准;代码评估器必须自包含且 example 参数默认 None;API 失败、鉴权错误和 run rule 失败应视为基础设施错误而非评估器缺陷。具体 API 细节以引用文档为准。