SuperAPI AI 工具集

opik-verify

测试与质量

查看项目

更新于 10-16 05:03

技能介绍

用途:在 /opik-compare 得到基线(baseline)与候选(candidate)实验数据后,按声明的发布策略给出唯一裁决:ship、hold、needs_review、insufficient_evidence 或 blocked。报告须包含准则表(准则·阈值·观测值·通过与否)、失败用例、compare 链接、策略来源和一条下一步。

主要能力与准则:策略文件为仓库根目录或 .opik/ 下的 opik-release-policy.yaml,缺失则用文档默认值并在报告中说明来源;未知键为阻断项。准则按顺序评估全部而非遇错即停:证据量(scored items ≥ min_items)、回归数(基线通过而候选未通过,受 max_regressions 限制,flaky 项按 flaky_policy 排除或计入)、安全(命中 safety_tags 的回归必 hold)、通过率、子组、延迟 p90 上限增长、单项成本上限增长;另报告配对符号检验 p 值(非门禁)。judge_validated 为 false 时裁决至多 needs_review。

使用方式:入口为 /opik-verify、/opik-verify <suite> 或 /opik-verify <baseline-id> <candidate-id>;默认读最近两次实验,可按需推断 policy、实验与 --record(默认关,写入候选实验 config)。步骤包括加载策略、解析两次运行、逐项读取、计算全部准则、按优先级决定、输出表格并仅在要求时记录。仅在真正无法推断的阻断处提问。

限制:不修改应用代码、不部署;唯一可写文件是策略文件且须用户同意;不同 dataset_version_id、项目集或判题模型的运行不可比较;聚合值刚结束可能滞后,不应以 0.0 或缺失值通过或判负;单次运行无法观测 flaky;证据不足时不得 ship。若 opik 技能未安装,报告中说明并参考 https://www.comet.com/docs/opik/。