SuperAPI AI 工具集

golden-dataset-validation

数据与分析

查看项目

更新于 10-16 04:31

技能介绍

用途:在将新文档加入 golden dataset 前,或对已有数据集做完整性检查时,校验条目是否符合质量与结构标准。

主要能力:

  1. Schema 校验:按 Document Schema(v2.0)与 Query Schema 检查必填字段、数据类型与约束,如 id 的 kebab-case 格式、title 长度、source_url 为真实 URI、content_type 枚举、tags 数量、sections 结构等。
  2. 重复检测:基于相似度阈值处理,>=0.90 阻止、>=0.85 警告、>=0.80 提示、<0.80 允许。
  3. 引用完整性:校验 query 的 expected_chunks 指向有效 section,检查 source URL 映射与交叉引用一致性。
  4. 覆盖度分析:统计教程、研究论文占比、领域覆盖、困难与对抗性 query 比例,并检查难度分布最低数量(trivial 3、easy 3、medium 5、hard 3)。

使用方式:资料未提供具体安装或运行命令,仅说明可集成到 pre-commit 校验钩子与 CLI/hook 中;详细实现见 references/validation-rules.md 与 references/quality-metrics.md。

适用场景:新增文档前校验、已有数据集完整性检查、重复或相似内容检测、覆盖缺口分析、提交前钩子校验。

限制:资料未提供收费、平台、性能或效果数据;具体命令与安装步骤暂未提供。相关技能包括 golden-dataset-curation、golden-dataset-management、pgvector-search。版本 1.0.0(2025 年 12 月)。