用途:保护与维护 AI/ML 系统的高质量测试数据集(黄金数据集),用于回归测试、检索评估(precision、recall、MRR)、模型基准对比与跨环境可复现性。适用场景包括为 RAG 系统构建测试集、关键数据备份/恢复、数据完整性校验(URL 契约、嵌入)、环境间数据迁移。
主要能力:
- 备份:以 JSON 格式导出分析(analyses→chunks→artifacts 嵌套结构),含 version、created_at、metadata(分析/片段/工件计数),便于版本控制与迁移;相比 SQL dump 更易审查与移植,但恢复较慢(需重生成嵌入)。
- 恢复:支持 --replace(删除现有数据后恢复)与不删除(追加)两种模式,恢复时按当前模型重新生成嵌入。
- 校验:检查计数与 metadata 不一致(Error)、占位 URL(含 placeholder 或特定域名,Error)、恢复后缺失嵌入(Error)、无父分析的孤儿片段(Warning)。
必要用法(在 backend 目录): poetry run python scripts/backup_golden_dataset.py backup poetry run python scripts/backup_golden_dataset.py verify poetry run python scripts/backup_golden_dataset.py restore --replace poetry run python scripts/backup_golden_dataset.py restore
最佳实践:备份纳入 git 版本控制;部署前运行 verify;在预发环境先测试恢复;在 metadata 中记录增删。灾难恢复参考:误删可用 restore --replace 后 verify 再跑测试;迁移失败可 alembic downgrade -1 后恢复;新环境则克隆仓库、初始化数据库、恢复并测试。
限制与说明:资料基于 OrchestKit 生产实践(98 分析、415 片段、203 测试查询、91.6% 通过率),未提供通用安装方式、收费信息或更多平台支持细节,其他环境需自行适配脚本与存储模式。