SuperAPI AI 工具集

dataset-datasheet

数据与分析

查看项目

更新于 10-16 01:18

技能介绍

用途:为数据集编写数据说明书(datasheet),把数据来源、构成、采集方式、标注过程、已知问题与不适用场景记录下来,避免数据债务不可见。适用于需要撰写数据集文档、负责任 AI 审查或数据交接的场景。

主要能力:按固定结构输出说明书,包含动机、构成、采集过程、预处理与标注、推荐用途与限制、分发与访问、维护七部分。要求量化类别平衡与分布偏斜,明确敏感属性及其代理变量,列出具体“不应用于”的任务,记录标注来源与一致性,并指定负责人与更新/报错流程。

必要输入:数据集名称、版本、负责人及当前用途;创建动机与目标任务;构成(实例含义、数量、字段/标签、时间范围);采集(来源、方式如抓取/日志/购买/标注、同意与许可依据);已知问题(缺失、不平衡、标签噪声、敏感属性、重复)。

质量检查:采集方法与法律/同意依据须明确而非假设;类别平衡与分布偏斜须量化;敏感属性及代理变量须显式识别;“不应用于”须列出具体任务;标注来源须记录;负责人与更新/报错流程须具名。

反模式:只描述理想内容而忽略缺口、偏斜与噪声;省略同意/许可依据;忽略代理变量(删除种族/性别列不等于消除偏见);把标签质量说成完美;让数据集无人负责。

限制:资料未提供具体安装命令、平台支持、收费方式或使用步骤;该技能基于 Datasheets for Datasets(Gebru 等,2018)与负责任 AI 审查中的数据文档实践。