用途:根据产品需求、已观察到的会话失败或覆盖缺口,构建精简的 Coval 测试集。目标是用少量覆盖不同失败机制的用例改变产品决策,而不是对正常路径反复改写。
理解与复用:先确认组织/工作区、智能体与范围,检查所选智能体、已有用例、相关录音和客户事实来源政策。可用 coval --agent agents get <id>、test-sets get、test-cases list --test-set-id <id>,并留意命令帮助、报错与分页。不要替换已有测试集,也不要仅依据有缺陷的智能体提示词推导需求。大语料可用 distill-test-set 筛选源行并检查其输入/期望对;未探索会话可用 coval-discover-failures。
先设计覆盖再写文案:建立紧凑矩阵,包含需求或观察到的失败、来源、有意义的变化、场景、期望行为、所需证据、风险/优先级,并区分观察到的失败、政策要求和合成假设。变化轴可选:模糊请求、信息变更、工具结果缺失、不支持的请求、来电者更正、相关音频条件。避免自动笛卡尔积,先生成组合再写真实来电场景,丢弃不可能组合与语义重复,保留少量未动用用例供后续回归。语音场景要把场景与人设、音频条件分开。不要放入敏感真实客户信息。
让期望可评估:每个必须行为写成独立数组项,说明前置条件与可观察结果,避免“有帮助”、任意数字评分或指定措辞。不要让 input_str 或人设泄露答案。按当前测试用例规范选择输入模式:SCENARIO 用于灵活交互,SCRIPT 仅在精确来电轮次重要时使用。转录证据用于对话行为,音频用于声学行为,相关工具结果用于实际副作用。
创建与回读:本地准备确切用例后再请求缺失的写权限,尊重会话中已授权的创建。使用结构化 JSON 而非把客户文案插入 shell 字符串,例如 coval --agent test-sets create --input-json @test-set.json 与 coval --agent test-cases create --input-json @case.json。test-set.json 形如 {"display_name":"Clinic information checks","test_set_type":"SCENARIO"};取得实际测试集 ID 后,case.json 含 test_set_id、input_str、expected_behaviors、description、input_type。创建前检查 coval test-cases create --help 与当前 schema。缺结构化输入的 CLI 可用公开 API。每次响应都要检查,超时不确定时先查已有资源再重试以免重复。回读每个用例并核对输入与各项期望行为,必要时用分页确认数量。
交接:展示覆盖矩阵、ID 与未测缺口,把来源分布与刻意加权的失败用例分开。创建测试集不授权运行它;应提出明确的小子集用于快速评估,并给出含迭代、人设与基础加变异的数量。可用 configure-metrics 把合适标准转为临时度量。限制:资料未提供具体价格、平台支持范围与效果保证,暂未提供。