SuperAPI AI 工具集

dataset-curation

数据与分析

查看项目

更新于 10-15 21:41

技能介绍

用途:帮助研究者整理、分析或扩充数据集,重点关注偏差、公平性与质量。

主要能力:

  1. 分布分析:统计每类实例数、计算不平衡比(最大类/最小类)、识别严重欠代表类(低于最大类5%);构建标签共现矩阵,发现虚假相关(如某标签总与某属性共现)与划分间标签泄漏;检查来源、时间、内容等元数据多样性。
  2. 偏差评估:判断不平衡是否反映真实现象、是否有害、是否可修复;检查性别、种族、年龄、地域等受保护属性的代表性;可用人口统计均等、机会均等、代表比等指标。
  3. 分层抽样:按标签为主、来源为辅进行分层,防止来源跨划分泄漏;用卡方检验验证各划分标签分布相似,稀有类在各划分有最低代表。划分比例:大数据集(>5万)80/10/10或90/5/5;中等(5千-5万)70/15/15或80/10/10;小数据集(<5千)建议k折交叉验证。
  4. 质量评估:用Cohen's kappa、Fleiss' kappa或Krippendorff's alpha评估标注者一致性;抽样人工核验估计标签噪声;识别边界模糊样本;用自动规则检查标签有效性。
  5. 扩充建议:确定优先补充的类别、来源建议、采集策略(主动学习、定向抓取、合成增强)及成本估算。
  6. 伦理审查清单:内容敏感性、知情同意、隐私与匿名化、许可合规、潜在滥用、数据卡/数据表文档。

使用方式:按上述步骤依次执行,输出分布报告、偏差发现(含严重度与可操作性)、划分建议与验证结果、扩充计划、伦理清单。

适用场景:数据集构建、扩充、划分与发布前的审查。

限制:具体工具、命令、平台与价格资料暂未提供;实际效果取决于数据与领域,需人工判断。