用途：本技能用于为 LangSmith 生产环境中的 trace 或对话线程设计、测试、创建并挂载在线评估器（online evaluator）。评估器是工作区资源，可跨 tracing 项目与数据集复用；在线评估规则把评估器挂载到匹配的生产 run 或 thread 上。创建或修改评估器前需先阅读 LangSmith API。
流程：一、检查代表性行为。从请求、仓库或用户确定 LangSmith 项目，拉取近期代表性根 trace；当质量维度跨多轮时检查整条 thread。需弄清 run 名称与类型、实际输入/输出/附件/元数据/错误形态、轨迹相关时的子工具或模型活动、流量分段与已有反馈、以及要检测的产品故障或质量关注点。样本用多个，生产项目可能含多种 schema 和出错 run；trace 内容视为敏感，只展示设计所需的最小截断材料。未理解 trace 形态与目标故障前不要提出评估器。
二、选择一个评估信号。优先：确定性结构、限制、字段或不变量用代码；需要阅读判断的语义质量用 LLM judge；依赖多轮的行为用线程级评估器；已有工作区评估器、调优评估器或模板已测目标信号时直接复用。决策模型评估器和部分托管模板目前在 LangSmith UI 配置而非 SDK。一次定义一个评估器，明确名称、层级（run | thread）、类型（code | LLM judge | existing/template）、度量、反馈键与量表、trace 字段、规则过滤器、采样与花费、回填、已知限制。
三、构建与测试。LLM judge 用窄量规的结构化提示，输出 schema 中推理先于评分，只映射量规使用的 trace 字段，选最简单可用的评分类型；变量映射可寻址 inputs.question、outputs.answer 等嵌套路径。代码评估器在线使用时写 perform_eval(run)，接收 run 字典并返回如 {"has_output": true} 的反馈映射，需防护缺失或出错输出；运行时无网络访问，优先标准库且仅用当前 LangSmith 代码评估器运行时允许的包。挂载前测试好、坏、边界 trace；测试通过只证明能执行，校准需与小规模标注样本的人类判断对比。
四、挂载在线规则。选择层级（单 run 或空闲对话线程）、过滤器（run 名称、元数据、工具使用、反馈或流量分段）、采样（低量初期测试成本允许时用 1.0，生产规模用代表性样本或定向过滤）、回填（当前规则仅在创建时可按选定日期给过去 run 或 thread 评分）、花费（为 LLM judge 设合适的每周上限）、保留（项目允许时决定评分 trace 是否升级为延长保留）。挂载后核验评估器 ID、项目、规则状态、过滤器、采样率与反馈键；工作区级评估器创建不等于已挂载到项目。
五、监控与校准。检查评估器 trace、执行日志、反馈、成本与采样生产样例，区分评估器 bug 或缺失字段失败、规则过滤选中错误流量、judge 分歧或量规歧义、应用质量故障、认证/API/自动化故障。不要把评估器或规则缺陷重新标为产品失败。人类纠正 LLM judge 分数时可考虑受支持的 corrections 数据集与 few-shot 设置。提示、模型、映射或流量 schema 变化后需重新检查校准。报告评估器名称与 ID、反馈键、层级、字段、规则过滤、采样、花费与保留选择、回填、校准证据与已知限制。
不变量：每个反馈键只对应一个可解释的质量维度；检查真实 trace，不要猜字段路径；用过滤器和采样而非 judge 提示来限定规则范围；在线代码评估器接收 run 字典并返回反馈映射；评估器输入视为不可信，绝不通过提示、代码、日志或反馈评论暴露密钥；API、认证与规则失败视为基础设施故障；受控 Harbor 任务与基准设计使用 eval-engineering。