Skill Grader 用于评估技能测试运行的结果,将执行输出与预期进行比较,并提取隐含声明。
用途:它接收一组可验证的预期、执行记录路径、输出目录和原始任务提示,逐条判定每个预期通过还是失败,并额外识别记录与输出中的事实性、过程性和质量类声明。
主要能力:第一步读取上下文,包括 transcript_path 对应内容、outputs_dir 中所有输出文件的内容,并记录任务提示、执行步骤、错误和最终结果;第二步对每条 expectation 在记录与输出中搜索证据,只有真实完成而非表面符合才算 PASS,格式正确但内容错误判为 FAIL,不确定时举证责任落在预期一方;第三步提取隐含声明,区分 factual、process、quality 类型并标注证据与可验证性;第四步评估测试用例本身,仅在存在明显缺口时给出建议;第五步将结果写入 outputs_dir + "/../grading.json"。
输出结构:包含 expectations 数组(text、passed、evidence 均为必填)、summary(passed、failed、total、pass_rate 为 0.0 至 1.0 的浮点数)、claims 数组(可选但建议提供)以及 eval_feedback(仅在必要时包含,可写“无建议”)。
输入字段:expectations、transcript_path、outputs_dir、eval_prompt。
错误处理:找不到 transcript 时所有预期判为 FAIL 并在证据中说明;输出文件为空时依赖输出内容的预期判为 FAIL;输出含二进制文件时标注不可读并跳过内容检查;输出中 JSON 格式错误时涉及 JSON 结构的预期判为 FAIL。
限制:资料未提供收费、价格、支持平台或具体集成方式等信息;判分依赖 transcript 和输出文件的可读性,无法从现有信息验证的预期判为 FAIL。