用途:在用户明确要求运行时,执行一次有界的 Coval 评估,并审计对话、录音和指标证据。语音场景需有真实语音对话并检查录音,仅有已保存资源或运行状态不足以证明成功。
主要能力:启动选定评估并解释证据支持范围;用 coval --agent agent doctor、resource context 和 --help 做预检;维护本地会话台账(启动 ID、用例、指标测试、预算);用可选本地规划器 scripts/plan.py 校验显式子集、正数边界、基础加变异与调用上限;用 coval --agent runs launch --input-json @run.json 启动一次,轮询 runs get 至终态;用 simulated-conversations list/get/metrics/audio 审计对话、指标与录音;可选 scripts/fetch_run.py 分页拉取完整证据。
使用方式:先确认组织、工作区与 API 环境,复用其 agent/persona/测试集,读取确切用例与指标定义。请求体需含 agent_id、persona_id、test_set_id、metric_ids、options.test_case_ids、iteration_count、concurrency、metadata、config_overrides。调用数=选定用例×迭代×(1+变异数) 按 persona 运行求和。未给预算时建议一次连接检查加最多三次对话、一次迭代、并发一。
限制:认证本身不识别组织;不得打印密钥或改全局账户配置;本地计划不是服务端消费上限;Coval 可能追加强制或依赖指标;仅在有当前费率时报价;超时或响应不明时先查近期匹配运行,不盲目重试 POST;不自动重模拟、不自动改提示词或指标默认值;小规模成功运行只是冒烟测试,不代表生产普遍性或统计置信度。