用途:对比 Coval 的基线运行与候选运行,回答观测到的变化是否支持客户决策。保持只读;除非明确授权并设定预算,否则不启动爬山、创建变体或发起确认调用。
主要能力:先冻结比较条件,确认组织/工作区、API 环境、基线及候选 run ID、预期变更、主要标准和可接受的回归;读取每次运行及其中对话、选定指标输出和相关录制。通过已安装 CLI 的 runs get、simulated-conversations list --run-id、get、metrics、metric-detail 命令操作;检查 ok,CLI 无法证明完整列表时分页查询公共 API。指标列表默认取每个指标的最新输出;恢复历史分数时请求 include_superseded=true 或精确获取已保存输出 ID;选择预期版本与评分场合,重评分不计为新对话;列表响应缺失的复合标准需读取完整输出详情。
使用方式:按用例、人格、智能体、指标、执行、变体六个维度建可比性表。用例需完全一致与期望一致(同一 ID 内容可能已变);人格需提示、语音、语言、音频条件与打断设置一致;智能体只应有预期变更并保留模型/供应商/配置上下文;指标需标准、极性、单位、范围与输出版本一致;执行需迭代数、并发、超时、时间窗与失败率一致;变体需分离基线与各突变,突变包含基线运行。若智能体与评判者都变,分数提升会被混淆;仅在授权付费操作时用冻结评判者评估两套已有录制,否则说明局限。用例不同则只比较匹配子集并报告两组不匹配数据;不得仅因均值不同就称无关运行为 A/B 测试。
计算与检查:按稳定用例身份/内容、人格条件与预期变体映射连接;迭代视为对用例的重复观测而非新场景覆盖;迭代 ID 无法配对时在各用例内聚合再比用例,不得把 API 列表顺序拉成虚构配对。对每个指标和匹配用例报告基线/候选有效计数与数值、适用通过规则、变化结果与不可用结果;区分请求、观测、终态、有效评分、失败/跳过/空与匹配计数;缺失值不得记为零或通过;复合分数单独检查强制标准失败。二值用通过/失败计数及单个通过转失败/失败转通过;数值用带单位的逐用例差值,数据足够再看分布;分类看转移与计数,不发明类别均值。小比较中检查每个变化结果,读转写与指标说明,声称为声学或话轮变化时听音频;连接失败是操作回归也是质量证据缺失,不是任务低分的成功对话。不确定性且独立用例足够时用用例/组级重采样或合适配对检验,不把单个话轮或重复调用当独立;小规模冒烟测试列出确切用例与计数并说明结论不确凿。没有通用重复次数可建立统计置信。
结论与下一步:给出观测到回归、匹配样本上观测到改进、未观测到变化或不确定,并附证据与限定条件;开发套件的改进不证明可泛化到真实流量;无客户发布标准与足够目标人群证据不得称生产发布安全。指出阻碍,再提出一个聚焦确认测试,含确切用例 ID、冻结指标、一个预期变更和总调用/指标预算,含基线加突变倍数。建议不等于执行授权。
限制:资料未提供具体价格、平台支持范围、默认参数或完整代码示例;实际命令行为与可用字段以所装 CLI 和 API 为准。