用途:在调用 Coval API 或探索数据前,先了解其资源模型。所有资源均归属于 API Key 对应的组织。资源层级:Agent 下含 Mutation;Test Set 下含 Test Case;Run 下含 Simulation,Simulation 下含 Metric Output;Run Template 下含 Scheduled Run。另含独立的 Persona、Metric。
主要资源:Agent 是被评估的 AI 系统,含 customer_agent_id、model_type、prompt 等字段;Mutation 是用于 A/B 测试的命名配置变体,config_overrides 在运行时与基础 agent 深合并;Test Set 定义测试内容,含 DEFAULT、SCENARIO、TRANSCRIPT、AUDIO、IVR、SCRIPT 等类型;Test Case 是单个测试场景,含 input_str 与 expected_behaviors;Persona 定义模拟用户行为(语音、打断率等);Metric 定义评估标准与打分方式;Run 是一次执行,Simulation 是单次运行结果,Metric Output 是单条评估结果;Run Template 与 Scheduled Run 用于定时执行。
使用方式:基础 URL 为 https://api.coval.dev/v1,认证使用 X-API-Key 头。分页用 page_size(1-1000,默认 50)与 page_token;过滤使用 AIP-160 语法,如 filter=status="COMPLETED" AND agent_id="abc123";排序用 order_by=-create_time。CLI 安装命令为 brew install coval-ai/tap/coval,常用命令形如 coval agents list|get|create|update、coval runs launch|watch 等。集成前建议先获取最新 OpenAPI 规范:GET https://api.coval.dev/v1/openapi。同时提供 MCP Server。
限制与说明:各资源 ID 长度不同(如 Test Set 为 8 字符,Mutation 与 Metric Output 为 26 字符,其余多为 22 字符),使用时需注意区分。具体计费、价格、平台可用性等资料暂未提供。