用途
add-golden 用于将文档添加到 golden 数据集,并附带校验流程。它适合在整理测试数据或保存示例时使用。该技能以多智能体协作的方式完成整理,提供质量评分解释、偏见检测和版本追踪。
主要能力
该技能围绕一个九阶段工作流展开:
- 输入收集:获取 URL,检测内容类型,生成文档元数据。
- 抓取与提取:解析文档结构,输出结构化内容,提取标题、章节、代码块、关键术语以及作者、日期等元数据。
- 质量分析:由 4 个并行智能体评估,输出原始分数。
- 质量解释:解释每个分数背后的原因,输出评分理由。
- 偏见检测:检查内容中的偏见,输出偏见报告。
- 多样性检查:评估数据集平衡性,输出多样性指标。
- 校验:进行 schema、重复项和门槛校验,输出校验状态。
- Silver 到 Gold:晋升或标记为 silver,输出分类结果。
- 版本追踪:追踪变更、支持回滚,输出版本条目。
质量分析阶段会同时启动 4 个智能体:code-quality-reviewer 关注准确性、连贯性、深度和相关性;workflow-architect 关注关键词直接性、复述和推理,输出难度等级;data-pipeline-engineer 关注主次领域和技能水平,输出标签;test-generator 生成直接、复述和多跳查询。
质量评分采用加权公式:quality_score = accuracy0.25 + coherence0.20 + depth0.25 + relevance0.30。
偏见检测覆盖技术偏见、新近偏见、复杂度偏见、供应商偏见以及地理/文化偏见。偏见分数 0-2 正常处理,3-5 添加免责声明,6-8 需要用户复核,9-10 建议不采用。
Silver 到 Gold 的判定标准:分数 >= 0.75 且无偏见则加入主数据集(GOLD);分数 0.55-0.74 加入 silver 并追踪(SILVER);分数 < 0.55 不添加(REJECT)。晋升条件为在 silver 中停留 7 天以上、质量 >= 0.75 且无负面反馈。
版本追踪使用语义化版本:添加/更新文档递增补丁版本(0.0.X),移除文档递增次版本(0.X.0),schema 变更递增主版本(X.0.0)。
使用方式
通过命令传入 URL 添加文档,例如:
/add-golden https://example.com/article /add-golden https://arxiv.org/abs/2312.xxxxx
任务管理方面,会创建一个主整理任务,并为九阶段流程创建子任务。阶段包括:Fetch content、Run quality analysis、Explain scores、Check bias、Check diversity、Validate、Get approval、Write to dataset、Update version。
适用场景
适用于整理测试数据、保存示例、维护 golden 数据集,以及需要对文档进行质量评分、偏见检测和版本管理的场景。
限制
资料未提供该技能的具体平台依赖、安装方式、收费模式或性能指标。偏见检测和多样性检查的具体实现细节、评分维度的详细判定标准,以及相关技能(golden-dataset-validation、llm-evaluation、test-data-management)的具体内容,资料中未展开说明。