SuperAPI AI 工具集

eval-dataset

数据与分析

查看项目

更新于 10-15 20:28

技能介绍

用途:从证据出发构建 AI 评测数据集,支持从追踪记录、用户反馈或带依据的合成场景中整理可回放的评测用例,并保留来源信息、构建防泄漏的数据划分。

主要能力:区分输入与参考答案、评分标准、基线输出;为每个用例保留来源、允许的保留期限、失败/类别标签、对话或来源分组、必要附件与上下文、参考答案来源;记录回放智能体所需的环境与夹具;将已确认的失败作为回归样例,同时纳入正常与负向用例;按需生成合成用例填补特定空白,并由具备知识的评审者验证真实性。

使用方式:先阅读操作协议、数据来源与产物记录;托管存储使用托管指引;本地工具与确切命令参见工具包设置,运行该技能的工作区安装器(会保留已有自定义文件);托管路线在确认连接模式后使用具体服务操作。去重并按对话、文档、客户、改写家族分组后再划分,按组切分避免相关样例跨边界;在分组足够时按任务/类别分层。开发集用于诊断,验证集用于候选选择,最终测试集仅在数据充足时使用一次;小数据集尽量保留可信留出集,否则报告探索性结果并收集新确认用例。划分在优化前冻结,不得因分数不理想而重划。答案存放在评分器专用存储中,置于执行模型文件系统与工具可达范围之外;移除公开基准解答的访问权限,不依赖“不要读取答案”的指令。

审查与提交:在选定审查界面展示实际用例、输入、附件、参考答案来源与类别计数;提交生产数据前确认相关性与保留期限;无法保留完整记录时存储来源标识或脱敏替代。记录不可变的数据集版本/哈希、样本用途、分组规则与划分 ID;可使用可选的评测运行产物助手验证导出记录并创建可复现的分组划分,或使用现有运行器的等效功能。其简单划分器不是统计抽样服务,锁定清单前应检查类别覆盖。

交付物:可运行的输入集、受保护的参考答案集、审查状态与覆盖缺口。不得将未审查的合成参考答案标记为专家已批准。

限制:资料未提供具体收费、价格、平台支持范围与效果数据;该技能不是通用数据生成工具,合成用例仅用于填补特定空白。