SuperAPI AI 工具集

genie-optimization-orchestrator

通用与其它

查看项目

更新于 10-16 06:52

技能介绍

用途:编排 Genie Space 优化循环,按需路由到 4 个 worker 技能,借助 MLflow 支持的评估、内省分析和结构化进度跟踪,提升 Genie Space 准确率(目标 95%+)与可重复性(目标 90%+)。适用场景包括编写并验证带 ground truth SQL 的基准问题、对线上 Genie Space 运行 MLflow 评分实验、用多维 judge 调试错误 SQL 生成、改进资产路由(TVF 与 Metric View 选择)、用 GEPA 或 LLM 内省优化元数据。

主要能力:维护跨迭代的 session 状态,持久化到 optimization-progress.json 与 MLflow experiment tags;每次迭代创建 LoggedModel 作为元数据中枢,支持链接评估、父子链、提升最佳模型与回滚;强制所有评估记录到 MLflow experiment;按 lever 优先级顺序应用 Patch DSL 提案并支持回滚;计算跨迭代可重复性;生成优化报告。

使用方式:调用 Databricks API 前先从 databricks.yml 解析 CLI profile,并用该 profile 执行所有 CLI 与 SDK 调用,例如 databricks genie list-spaces --profile <profile>。在 Databricks notebook 外需设置 MLflow 环境变量:DATABRICKS_HOST、DATABRICKS_TOKEN、MLFLOW_TRACKING_URI=databricks。实验路径必须位于 /Users/<email>/ 下。lever 感知优化必须使用 --job-mode。

限制:内联评估器仅检查资产路由,不运行 8-judge 评估、不产生结构化 ASI、不写 UC 表;lever_aware=True 且 job_mode=False 会抛 RuntimeError。所有 Genie SQL 须经 sanitize_sql() 处理,含 ${catalog} 或 ${gold_schema} 的 SQL 须经 resolve_sql() 解析。每次 worker 调用必须阅读对应 SKILL.md。Lever 6 为最后手段,字符预算约 4000。具体收费、价格与平台支持信息暂未提供。