用途:Eval Engineering 是一套面向智能体评测的工程流程技能,帮助从仓库、轨迹和人工目标出发,设计、构建、运行并审计可复现的评测任务。
主要能力:先检查仓库、Harness、可选轨迹、已有 Task 与运行记录、已有 World 知识及人工目标;创建或更新项目级 World Knowledge Skill;提出并撰写 Task Spec(Task.md);实现 Task 的环境与 Verifier;通过 Harbor 运行真实 Harness 并审计完整轨迹;对失败进行分类并修复非智能体缺陷;最后用运行证据校正 World 知识。
使用方式:流程分为检查输入、提出并选择 Task、撰写与审阅 Task Spec 和 World Skill、应用 Spec2Task、运行与审计、校正项目 World 知识、重复迭代。Task 目录包含 Task.md、task.toml、instruction.md、environment/、tests/ 和可选 solution/。Task.md 不得复制或挂载到被评测智能体的工作区或镜像中。
适用场景:为智能体项目建立可复用评测任务、校准模型表现、审计 Verifier 与奖励路径、沉淀项目专属评测知识。
限制:资料未提供具体安装命令、收费、价格、平台或效果数据;依赖、访问与安全要求需按项目实际映射,评测期间不得写入生产环境,访问、启动、重置、超时、判分或 Verifier 失败应视为无效运行而非智能体失败。