用途:为 AI 评估构建高质量的黄金数据集,提供向其中加入新文档的模式与工作流,并对内容做全面质量分析。它与负责备份/恢复的 golden-dataset-management 互补。
适用时机:向黄金数据集添加新文档;对内容类型与难度分级;为新文档生成测试查询;运行多智能体质量分析。
内容类型:article(技术文章、博客,关注深度、准确性、可操作)、tutorial(分步指南,关注完整性、清晰度、代码质量)、research_paper(学术论文,关注严谨、引用、方法论)、documentation(API 文档、参考材料,关注准确、完整、示例)、video_transcript(视频转写,关注结构、连贯、要点)、code_repository(README 与代码分析,关注代码质量与文档)。
难度等级:trivial(直接关键词匹配,期望分 >0.85)、easy(常见同义词,>0.70)、medium(改写意图,>0.55)、hard(多跳推理,>0.40)、adversarial(边界情况,需优雅降级、鲁棒性测试)。
质量维度与权重:准确性 0.25(技术正确、代码有效、信息最新)、连贯性 0.20(结构逻辑、术语一致)、深度 0.25(覆盖全面、含边界情况)、相关性 0.30(贴合 AI/ML、后端、前端、DevOps 领域)。
多智能体流水线:输入 URL/内容 → 抓取智能体(提取结构、检测类型)→ 并行分析智能体(质量、难度、领域、查询生成)→ 共识聚合器(加权得分 + 置信度,输出 include/review/exclude)→ 用户确认 → 输出策划后的文档条目。
决策阈值:质量分 >=0.75 且置信度 >=0.70 则 include;>=0.55 则 review;<0.55 则 exclude。建议阈值:minimum_quality_score: 0.70、minimum_confidence: 0.65、required_tags: 2、required_queries: 3。
覆盖平衡:内容类型、难度等级、领域均需均衡,不要过度偏向文章类型。去重清单:加入前比对 source_url_map.json 中的已有 URL,对已有文档嵌入做语义相似度检查,相似度超过 80% 时告警。
溯源记录:规范来源 URL、策划日期、各智能体得分(审计线索)、Langfuse trace ID。Langfuse 集成可用 trace 记录各维度分数与最终聚合分,并记录 curation_decision 事件。托管提示词包括 golden-content-classifier、golden-difficulty-classifier、golden-domain-tagger、golden-query-generator。详细实现参见 references/selection-criteria.md 与 references/annotation-patterns.md。相关技能:golden-dataset-management、golden-dataset-validation、langfuse-observability、pgvector-search。版本 1.0.0(2025 年 12 月),Issue #599。
限制:暂未提供关于收费、价格、平台支持范围及具体安装步骤的资料。