SuperAPI AI 工具集

multi-shot-review-eval

测试与质量

查看项目

更新于 10-28 16:14

技能介绍

多轮评审评估技能(multi-shot-review-eval)用于评估来自实时评审会话的多轮评审 A/B 测试。其核心流程是:运行确定性统计包,将结果发送给两个独立分析师模型,然后综合出带有理由的置信度建议,最终由用户决策。

主要能力包括:运行统计脚本 eval_stats.py 生成统计结果;选择或配置两个来自不同供应商的分析师模型(通过配置文件或运行时选择);使用 agreement.py 检查分析师输出的契约一致性;生成 synthesis.json 为每个非基线实验组给出建议(promote/drop/keep_testing/new_variant);生成仪表盘 dashboard.html 和报告 report.md;记录用户决策并累积采纳收益。

使用方式:设置 SKILL_DIR 并运行 eval_stats.py,根据退出码处理错误或价格缺失;配置分析师通过 multi-shot-review.toml 中的 [eval] analysts 表;分析师以并行方式启动,按指定路由(原生子代理工具、T3 delegate_task 或无头 CLI)调用,答案保存为 analysts/<analyst>.json;运行 agreement.py 校验;编写 synthesis.json 并运行 render_dashboard.py;根据报告模板撰写 report.md;最后通过 eval_stats.py --record-decision 记录决策。

适用场景:需要对 A/B 测试进行细致统计评估并引入独立模型分析建议的评审流程。限制:技能本身不指定模型,模型选择和价格需外部配置或研究;分析师必须来自不同供应商;若所有分析师失败则停止;价格缺失时可使用 --allow-unpriced 或进行价格研究。