SuperAPI AI 工具集

scaffold-agent-tests

测试与质量

查看项目

更新于 10-16 01:35

技能介绍

用途:读取一个 LLM Agent 的实现与遵循 specs/agent-test-modeling.md 的测试契约文档,生成可追溯到契约的 Agent 测试代码,使开发者不读源码也能理解每条测试守护什么。

主要能力:定位契约与实现(契约 frontmatter 的 agent_ref 指向实现);把契约章节映射为测试矩阵(能力边界→正向/反向行为测试,输入契约→边界/异常测试,工具调用边界→轨迹测试,写回前置→拒绝测试,Golden Cases→回归测试集);确定性逻辑用精确断言,非确定性输出用契约/轨迹/rubric/golden oracle;落盘版本化 golden dataset,每条含输入、期望、判定方式与 Covers;生成 evaluator harness(LLM-as-judge 或语义匹配器)并输出 golden 通过率,对比契约 pass_threshold。

使用方式:契约缺失时终止并提示先按 spec 撰写契约,不自行编造能力边界;unit 管道用 mock LLM / recorded replay,命中真实模型的测试打 eval marker;测试代码遵循 rules/standards-agent-testing.md 与 standards-test-code。

适用场景:需要为已有契约的 Agent 实现生成测试套件、把契约条款落地为可追溯测试时。

限制:不运行测试(用 automate-tests)、不评审测试质量(用 review-testing)、不修复失败测试或调试 Agent(用 orchestrate-repair-loop)、不编写测试契约;不 mock 被测 Agent 自身逻辑,仅为模型不确定性 mock;不为通过 eval 弱化断言或删 golden case;不修改 Agent 实现,仅生成测试制品。