SuperAPI AI 工具集

coval-eval-audit

测试与质量

查看项目

更新于 10-15 20:28

技能介绍

用途:审计一套已有的 Coval 评估配置,确认客户实际运行的评估及其结果能支撑的决策。除非另行要求具体修复或测试,全程保持只读。

收集证据:先确认组织、工作区、API 环境、智能体、时间窗口与决策目标,尽量使用明确的资源 ID。从最近的运行及其 agent、persona、cases、metrics 入手,抽样已完成、失败和未评分的会话。不要下载整个账户,也不要为了补缺而启动运行。可用 coval --agent agent manifest 发现已安装命令;常见读取命令包括 coval --agent runs get <run-id>、coval --agent agents get <agent-id>、coval --agent personas get <persona-id>、coval --agent test-sets get <test-set-id>、coval --agent test-cases list --test-set-id <test-set-id> --page-size 100、coval --agent simulated-conversations list --run-id <run-id> --page-size 100、coval --agent simulated-conversations get <simulation-id>、coval --agent simulated-conversations metrics <simulation-id>、coval --agent metrics get <metric-id>。检查 ok、errors 与分页;某些 CLI 版本只返回首页且不带 token,需用公开 /v1/openapi schema 与公开 API 分页(next_page_token 得到 page_token)并保留原过滤条件和工作区头。不要从失败读取、截断页面或未搜索的工作区推断缺失资源;证据有界时说明抽样范围,完整性标为未知。

六类决策风险:评估目标(需求、通过规则、各关键标准来源——泛泛的情感/语气不能证明任务成功);场景覆盖(实际输入与预期、已知事故、来源分布、重复用例、语言与 persona 选择);执行有效性(请求与实际会话、各状态、双方说话人、录音可得性、测试场景是否真正执行——完成运行也可能含不可用调用,连接、模拟器、提供方与 agent 失败要分开,未知不计为通过);度量有效性(metric 输出状态、值、单位、极性、criteria 子值、证据来源、版本——null/skipped/failed 不等于 0 或通过,复合平均可能掩盖必失败项,转录中的声明不能证明工具副作用);人工校准(人工标签来源、分歧、两类样本、提示示例、dev/test 分离与版本匹配——在调优样本上一致属开发证据,可用 coval-calibrate-metric);比较与成本(精确 case ID/版本、persona/配置/模型变化、重复次数、缺失配对、运行时长与花费、重跑授权)。

对重要结论要读实际转录片段与 metric 解释;音频主张听相关录音;工具或检索主张查相关 trace 与返回证据,缺失埋点属可观测性缺口,不等于工具没跑。数值延迟、计数和已校准的分类指标是合法的,不要强求全部二值化;精确约束优先确定性检查;用作发布门禁时要明确决策阈值;安全关键要求可在自然失败出现前先做测试。

报告:每项重要发现给出相对客户决策的严重度、观察证据与资源 ID、影响、最小修复及其验证方式;对每个检查领域标注“有支持”“发现问题”或“未知”;假设与已确认发现分开;不要编造数值就绪分。结尾写明:检查了什么(计数、范围、窗口、版本与缺失证据);证据是否支持所述决策及原因;最多三项按单位成本预期学习量排序的下一步。共享报告使用的 app URL 须来自用户组织/工作区上下文或 Coval 返回;不要暴露凭据、签名录音 URL、私有元数据或完整客户转录。本审计不含资源变更、通知、定时监控或付费评估。