SuperAPI AI 工具集

skill-test

测试与质量

查看项目

更新于 10-16 00:31

技能介绍

用途:管理 skills-for-fabric 的端到端评测框架,根据用户意图路由到对应工作流,包括新增评测、列出测试、运行测试、查看结果、生成数据、查看指标、检查覆盖率。

主要能力:新增评测时,自动或手动为缺失技能生成单个与组合评测计划,测试用例每条包含 Case ID、Prompt、Expected、Pass criteria,并至少包含一个负向或歧义用例;列出测试时展示 plan/03-individual-skills/、plan/04-combined-skills/ 及 tests/tests.json;查看结果时读取 eval-results.md 与 executive-summary.md;生成数据时可用 python tests/full-eval-tests/evalsets/data-generation/generate.py 生成 sales_transactions、customers、products、sensor_readings 等数据集;查看指标说明成功率、Token 用量与读写一致性;检查覆盖度时对比已安装技能与现有评测计划,指出缺口。

使用方式:用户提出运行测试时,技能不会自行执行,只提示在仓库根目录的 tests/ 下手动运行 cd tests 后执行 .\run-full-tests.ps1。新增评测需遵循模板并更新 plan/00-overview.md、README.md、plan/04-combined-skills/eval-full-pipeline.md 等跟踪文件。

限制:禁止代理执行测试、copilot 或 run-full-tests.ps1,仅提供指令;不得在 tests/ 目录外运行评测提示;不得在无负向/歧义用例的情况下创建评测计划;除非数据生成规则变化,不应修改 golden 结果文件。部分内容与具体阈值以仓库内文档为准,资料未提供的内容暂未提供。