用途:为 Agent Skill 设计并执行评测,包括 realistic eval cases、positive/negative trigger 与 regression case;用 skill-up 验证和运行评测并解释结果与限制;选择 deterministic、script 或 semantic judge,区分 benchmark 与 version regression。
主要能力:识别关键行为与证据维度(Outcome、Process、Style/Quality、Efficiency);设计 HAPPY、INCOMPLETE、EXPLICIT_TRIGGER、IMPLICIT_TRIGGER、CONTEXTUAL_TRIGGER、NEGATIVE_TRIGGER、BOUNDARY、REGRESSION 用例;按确定性优先选 rule_based,可执行工件用 script,仅需语义判断时用校准后的 agent_judge;判断 Eval validity,区分 Skill Defect、Eval Defect、Infrastructure Defect 与 Unknown。
使用方式:读取 Skill 契约、已有 evals/、历史失败和变更范围;运行 skill-up validate,有授权凭据和目标时再运行 skill-up run 或本地 trace runner;记录 run metadata、trace、judge、产物和限制;默认输出简洁 Markdown 评测报告,用表格呈现 case 结果和 evidence state,下游需要机器可读结果时才输出 JSON。
限制:skill-up 是主 Eval Engine,trace checks 仅为深证据层;不能把输出相似度写成 observed trigger,缺少 skill.selection trace 时标记 BLOCKED;skill-up validate 不是 runtime 语义验证;不自动修改 Skill 或无限优化;不混淆 Benchmark 与 Version Regression;值未知写 unknown,证据不足保留 NOT_RUN、UNASSESSED、BLOCKED 或 INSUFFICIENT_EVIDENCE;即使输入极少也先输出最小报告骨架。完整契约见 prompts/skill-evaluation.md。