用途:为 LangSmith 实验创建代码评估器,通过结构化检查与实现流程,帮助构建自定义评估逻辑、测试工具使用模式、为智能体输出打分。
前置条件:已安装 langsmith Python 包;已设置 LANGSMITH_API_KEY 环境变量(可检查项目的 .env 文件)。
工作流(六步):1. 向用户收集信息;2. 检查 trace 与数据集结构;3. 阅读智能体代码;4. 编写评估器;5. 编写实验运行器;6. 运行并迭代。
第一步要求不要搜索或探索代码库,先用 AskUserQuestion 一次性询问:Python 命令(如 python、python3、uv run python、poetry run python)、智能体文件路径、LangSmith 项目名、数据集名、评估目标(工具使用、输出正确性、策略合规、分类等)。
第二步运行技能目录中的检查脚本: {python_cmd} {skill_dir}/scripts/inspect_trace.py PROJECT_NAME [RUN_ID] {python_cmd} {skill_dir}/scripts/inspect_dataset.py DATASET_NAME 并核对 trace 类型是否与智能体匹配、是否包含评估所需数据;从数据集检查中记录输入 schema、输出 schema 与元数据字段(如 expected_tool、difficulty、labels),元数据常含评估所需的真值。
第三步阅读智能体文件,识别入口函数(查找 @traceable 装饰器)、可用工具与输出格式。
第四步依据 trace 与数据集结构编写评估器函数,函数签名与返回格式见 EVALUATOR_REFERENCE.md。
第五步编写实验运行器:导入智能体入口函数、包装为目标函数、对数据集运行 evaluate() 或 aevaluate(),用法见 EVALUATOR_REFERENCE.md。
第六步执行实验,在 LangSmith 中查看结果并迭代优化评估器。
限制:资料未提供具体评估器代码示例、支持平台范围、收费与价格信息,也未说明除上述前置条件外的其他依赖。