用途:把用户已有的基准测试定义转换为 SkillEvaluator 的自定义评分器(BYOG/BYOT),避免只留下空模板。适用于将现有 benchmark 引入 SkillEvaluator、把 rubric 转为 evals/grader.py 或 evals/grader.sh、在默认评估指标旁添加自定义指标、把 task.yaml、task.json、pytest 检查或 shell 验证器转为 BYOG/BYOT,以及验证团队自有基准能否在 SkillEvaluator 中运行。若无需自定义评分逻辑,仅编写 evals/evals.json,应使用普通数据集编写流程。
主要能力:读取目标技能、现有 evals/、基准提示、fixtures 与验证器代码;选择 default_plus_custom(自定义指标补充默认评分)或 custom_only(自定义评分器决定通过/失败);生成或更新 evals/grader.py 或 evals/grader.sh 并校验 Harbor 契约。评分器运行于 Harbor 验证器上下文,可读取 /logs/agent/trajectory.json、/tests/entry.json、/workspace/input/ 等,必须写出 /logs/verifier/reward.json 与含 0.0 到 1.0 数值的 /logs/verifier/reward.txt。自定义指标名不得与保留字段冲突,如 security、skill_execution、accuracy、overall、details 等。
使用方式:目标技能目录需含 SKILL.md,且 skillevaluator CLI 可用。生成任务用 skillevaluator init-custom-grader <skill-dir> --language python --mode default_plus_custom;shell 检查用 --language shell;原生 Harbor 任务用 skillevaluator init-harbor-task <skill-dir> --case-id <case-id> --with-config。之后替换脚手架占位逻辑,再运行 skillevaluator validate <skill-dir> --harbor-contract 校验。
限制:脚手架仅生成模板,需自行实现评分逻辑;模糊的 rubric 判断需转为可观察代理或人工评分策略;本地校验只证明文件契约,完整端到端评估可能依赖凭据、沙箱、GPU 或服务,未实际运行前不应视为已验证。