用途:为 Genie Space 评估创建、校验和同步基准问题套件,用于新空间优化、仲裁修正后刷新基准、从可信资产生成合成基准,以及针对实时仓库校验 ground truth SQL。
主要能力:三条输入路径(用户提供 10 条以上、1-9 条、0 条);从可信资产生成合成基准;按实时空间可信资产校验问题;通过 spark.sql() 执行 ground truth SQL 并存储结果哈希与样本;保存 golden-queries.yaml;同步到 Unity Catalog 中的 MLflow Evaluation Dataset;支持基准修正(用 Genie 正确 SQL 替换错误 expected_sql 并重新校验);assign_splits() 按 60/20/20 划分 train/val/held_out;parse_sql_dependencies() 自动提取依赖表、列与连接。
使用方式:输入 space_id、uc_schema、domain 及可选 user_questions;输出 eval_dataset_name、gt_validation_report、yaml_path、benchmark_count,可选 example_question_sqls。命令行示例:python scripts/benchmark_generator.py --space-id <ID> --domain cost --uc-schema catalog.schema;仅校验:python scripts/benchmark_generator.py --space-id <ID> --domain cost --validate-only。
限制:uc_schema 可用时必须运行 sync_yaml_to_mlflow_dataset(),否则 Datasets 与 Evaluation 标签为空;大型域(9+ 表)必须至少 20 题、8 个类别;expected_sql 中的 ${catalog} 与 ${gold_schema} 模板变量需由评估器接收参数并调用 resolve_sql(),否则报 PARSE_SYNTAX_ERROR;生成合成基准前必须先询问用户;每条 ground truth SQL 须经 spark.sql() 校验。具体收费、价格与平台支持暂未提供。