用途:为评估套件建立和管理基线。基线是某次评估记分卡的快照,代表“已知良好”状态,后续评估运行会与它对比以发现回归。
主要能力:建立首个基线;在提示词改进被验证后更新基线;回滚到先前基线。
使用方式:建立基线时,先在 promptops/runs/ 中找到目标套件最近的运行目录(匹配 <suite-id>-*),读取其 scorecard.json;若没有近期运行,需先执行 eval 技能。随后把基线写入 derived-index/baselines/<suite-id>.json,内容包含 suite_id、established_at、source_run 以及 scorecard 的 normalized_metrics 和 metric_definitions(含 description、version、direction)。完成后报告套件、来源运行、指标值与保存路径。
更新基线:采用追加友好模式,先把现有基线重命名为 <suite-id>-<timestamp>.json 归档,再写入新基线,并同时报告新旧指标值。回滚:把归档的基线文件复制回 <suite-id>.json。
规则与限制:永不删除基线,只能加时间戳归档;只从通过的运行建立基线,失败记分卡不可作为基线;每个套件只有一个活动基线,即 <suite-id>.json;基线一经设定即不可变,更新意味着归档旧文件并写入新文件。
适用场景:评估流程中的回归检测、提示词优化后的基线刷新、以及需要恢复到历史已知良好状态的场合。具体平台支持、收费与价格信息暂未提供。