用途:将 HuggingFace 上的数据集、仓库或 Space 导入并转换为 Coval 测试集,生成符合 Coval 格式的测试用例。Coval 是面向语音与对话式 AI 智能体的评估平台,通过模拟对话并配合可配置指标衡量性能。
主要能力与概念:测试集是按类别或评估目的分组的测试用例集合;测试用例包含 input(提示)和可选 metadata;Persona 指提问者角色,与测试用例区分开。
使用方式:先确认 HuggingFace 来源(仓库、Space 或数据集),找出 CSV、JSON、Parquet 等数据文件,检查结构与字段;再分析数据,报告记录总数、可用字段、已有分类和 2–3 条样例记录;随后进行字段映射,确认 input 字段、测试集分类方式、metadata 保留字段,以及多轮对话处理方式(仅首轮、拼接或每轮单独成例)。接着生成 Coval 兼容 CSV:input 列必须放在首位,metadata 为合法 JSON 字符串并正确转义双引号,使用 UTF-8 编码,建议按分类各生成一个 CSV,命名如 {source}_{category}.csv。最后可通过 Coval 控制台上传,或调用 API 上传。Coval API 基础地址为 https://api.coval.dev/v1,调用前可先获取 OpenAPI 规范:GET https://api.coval.dev/v1/openapi,或 GET https://api.coval.dev/v1/openapi/{spec_name}。
适用场景:从 HuggingFace 数据集构建评估用例,例如通用语言理解(cais/mmlu、nyu-mll/glue、tau/commonsense_qa、Rowan/hellaswag)、推理与问题求解(openai/gsm8k、ucinlp/drop、lukaemon/bbh)等。限制:具体字段、分类与多轮处理需用户确认;定价、平台支持范围等资料暂未提供。