SuperAPI AI 工具集

opik-compare

测试与质量

查看项目

更新于 10-15 20:14

技能介绍

用途:在 Opik 测试套件上运行候选实验并与基线逐条对比,回答哪些用例回归、哪些被修复、各指标增量、最差行、运行是否可比,并生成对比视图链接。仅做对比,不下发布结论(发布判断属于 /opik-verify)。

入口:/opik-compare <suite>(把当前运行作为候选,对比最近一次先前运行)、/opik-compare <experiment-A> <experiment-B>(只读两个已有运行,不新跑)、或在 /opik-test 之后直接调用。

主要能力:解析套件与基线;为代码候选构建任务适配器(从条目描述中的 Entrypoint 找到函数并包装);提示词候选走服务端 execute_experiment;用 opik.run_tests 运行候选;从 Opik 读回两个运行(SDK 优先,连接 MCP 时辅助),逐条 join;按顺序报告可比性、回归、修复、各指标均值与通过率增量、最差行、应用还是评审导致、成本与质量、波动用例、趋势;用两个 id 生成对比链接。

用法要点:运行器写成仓库外的临时文件,绝不写入或提交到代码库;不修改应用代码;只改变被测对象,套件版本、评审模型、每项运行次数保持一致;generate_report=False 避免在 cwd 生成报告目录。

限制与阻塞:缺少 Opik 配置、套件不存在、条目未指明入口、缺少提供方凭据、评审凭据缺失(表现为 scoring_failed 与 Missing credentials,应视为阻塞而非回归)、实验尚无条目时,停在最早阻塞并只给一个下一步。不读控制台输出而读 Opik;不在不同套件版本或评审模型间直接比较而不说明;不报聚合分数而不点名翻转用例;不给出发布结论。若未安装 opik 技能,应说明并参考官方文档。