用途:为 AI/ML 评估构建、管理和验证黄金数据集(golden dataset),提供策展、管理、验证和新增文档工作流四类模式,共 6 条规则。
主要能力:策展类含内容收集与多智能体标注,涉及内容类型分类、质量阈值、去重、共识聚合与 Langfuse 追踪;管理类含版本化与存储,涉及 JSON 备份格式、嵌入重生成、灾难恢复、备份策略与 URL 契约;验证类含回归测试,涉及难度分布、pre-commit 钩子与全数据集校验;新增工作流为 9 阶段策展、并行质量分析与偏差检测。
关键阈值:质量分 >= 0.70 才纳入,置信度 >= 0.65 自动纳入,相似度 >= 0.90 阻止、>= 0.85 警告,每条至少 2 个领域标签、每文档至少 3 条测试查询,难度最低 Trivial 3、Easy 3、Medium 5、Hard 3,CI 每周日 2am UTC 自动备份。
使用方式:规则文件位于 rules/ 按需加载,阈值与内部约定见 references/ork-delta.md。示例校验函数 validate_before_add 检查 URL 契约、标题长度与标签数量。JS/TS 侧可用 @langfuse/client 的 dataset.runExperiment 运行实验,配合 Evaluator、RunEvaluator 与 RegressionError 在 CI 中因质量下降而失败。
适用场景:构建评估数据集、管理数据集版本与备份、回归测试、检索评估(ork:rag-retrieval)、可观测性追踪(ork:monitoring-observability)、LLM 测试(ork:testing-llm)。
限制:数据集 schema 校验、嵌入去重、定时备份自动化、数据集运行与标注队列、Postgres 备份恢复机制均由上游负责,本技能不重述;具体安装命令与收费信息暂未提供。