SuperAPI AI 工具集

prompt-test

智能体与模型

查看项目

更新于 10-15 20:31

技能介绍

用途:为 prompts/default.md(或自定义提示词文件)的改动提供前后对比证据。技能会对同一 PR 运行两次 reviewer——一次用旧提示词、一次用新提示词,并生成可粘贴进 PR 描述的对比结果;没有这类证据时,提示词改动只能是主观意见而非工程验证。

主要能力:按目标 PR 逐个运行;运行前后分别记录模型 submit_review 摘要、带严重级别的行内评论列表、工具调用次数、循环轮数;生成逐 PR 对比表以及定性要点(新提示词多发现的问题、新提示词漏掉的回归、严重级别校准变化);跨多个 PR 汇总成 Prompt smoke-test summary,含净发现项和一句结论(ship/refine/abandon)。

输入:target_prs(PR 编号列表,实质性改动建议 3–5 个,覆盖功能、缺陷修复、重构、文档等类型;定向改动 1 个即可);repo(owner/name,默认当前仓库)。

使用方式:先做预检,确认 ANTHROPIC_API_KEY 与 GITHUB_TOKEN 已设置,且当前分支确实修改了 prompts/default.md。随后对每个目标 PR 获取其 HEAD SHA,运行 OLD prompt 时先 git stash 暂存新提示词,设置 AIPRR_PROVIDER、AIPRR_API_KEY、AIPRR_GH_TOKEN、AIPRR_REPO、AIPRR_PR_NUMBER、AIPRR_HEAD_SHA、AIPRR_BASE_REF、AIPRR_ACTION_PATH、AIPRR_STRICTNESS 等环境变量,并设置 AIPRR_TRACKING_COMMENT=false、AIPRR_COLLAPSE_PREVIOUS=false 避免打扰目标 PR 会话,然后执行 python3 scripts/reviewer.py;运行 NEW prompt 时先 git stash pop 恢复新提示词再执行同一命令,分别从日志中提取指标并对比、汇总。结果打印到 stdout,也可按用户意愿写入 tmp/prompt-test-<branch>.md。

适用场景:评估提示词改动是否真正提升 review 质量,需要在 PR 描述中附前后对比证据的开发者。

限制:不替用户修改提示词;不在测试 PR 上发布评论;Anthropic 有速率限制,连续测试超过 5 个 PR 时建议在 PR 之间加 time.sleep(5);git stash pop 失败说明用户有其他未提交改动,应停止并询问;目标 PR 处于关闭或合并状态仍可只读审查;每次运行都是完整 review,成本需提前估算,成本敏感时可用 AIPRR_MODEL 选择更便宜的模型。该技能的具体命令与参数配置需以项目实际为准,资料未提供价格、支持模型清单或平台范围。