SuperAPI AI 工具集

prompt-regression-tester

测试与质量

查看项目

更新于 10-16 03:16

技能介绍

用途:在修改提示词后系统性回归测试,防止出现效果倒退。它对比旧版与新版提示词在同一批测试用例上的输出,给出差异摘要、稳定性指标、破坏分析与修复建议。

主要能力:定义测试用例(含 id、input、context、expected_behavior、baseline_output、must_include、must_not_include);用 compare_prompts 跑对比,统计总用例数、改进数、回归数、未变数,并记录破坏项;计算稳定性指标,包括输出稳定性、格式稳定性、约束遵守度、行为一致性;通过 analyze_breakage 定位原因,如缺失必需内容、出现禁止内容、格式违规、长度偏差;用 suggest_fixes 按原因归类生成修复建议;支持生成回归报告(汇总、稳定性指标、回归明细、推荐动作)。

使用方式:准备 JSON 格式的测试用例集合,调用对比框架逐条运行旧提示词与新提示词,收集输出、差异、评分与判定,再汇总为报告。资料中的示例代码展示了测试用例结构、比较函数、稳定性计算、破坏分析与建议生成、报告模板与输出清单,实际使用需按资料形式组织数据。

适用场景:提示词迭代验证、A/B 对比、CI/CD 中自动化回归检查。

限制:LLM 具有随机性,资料建议多次运行对比;具体接口、命令与运行环境暂未提供。