用途:在将新文档加入 golden dataset 前,或对已有数据集做完整性检查时,校验条目是否符合质量与结构标准。
主要能力:
- Schema 校验:按 Document Schema(v2.0)与 Query Schema 检查必填字段、数据类型与约束,如 id 的 kebab-case 格式、title 长度、source_url 为真实 URI、content_type 枚举、tags 数量、sections 结构等。
- 重复检测:基于相似度阈值处理,>=0.90 阻止、>=0.85 警告、>=0.80 提示、<0.80 允许。
- 引用完整性:校验 query 的 expected_chunks 指向有效 section,检查 source URL 映射与交叉引用一致性。
- 覆盖度分析:统计教程、研究论文占比、领域覆盖、困难与对抗性 query 比例,并检查难度分布最低数量(trivial 3、easy 3、medium 5、hard 3)。
使用方式:资料未提供具体安装或运行命令,仅说明可集成到 pre-commit 校验钩子与 CLI/hook 中;详细实现见 references/validation-rules.md 与 references/quality-metrics.md。
适用场景:新增文档前校验、已有数据集完整性检查、重复或相似内容检测、覆盖缺口分析、提交前钩子校验。
限制:资料未提供收费、平台、性能或效果数据;具体命令与安装步骤暂未提供。相关技能包括 golden-dataset-curation、golden-dataset-management、pgvector-search。版本 1.0.0(2025 年 12 月)。