SuperAPI AI 工具集

genie-metadata-optimizer

数据与分析

查看项目

更新于 10-15 20:33

技能介绍

用途:分析 Genie Space 评测失败,生成元数据变更提案,提升评测分数。适用于基准测试后分数低于目标、需从失败模式生成提案、运行 GEPA 元数据演化(L2)、失败聚类与 ASI 内省分析(L1)、优化 judge 提示词(SIMBA)等场景。

主要能力:输入来自 Orchestrator,包括 eval_results(须含逐行 feedback/rationale/metadata 列)、judge_feedback、metadata_snapshot、space_id 及 use_asi、use_patch_dsl、use_gepa、target_lever 等开关。输出 patch_set、validation_result、proposals、optimized_candidate、lever_mapping、pareto_stats、judge_quality_feedback。

优化层级:L1 贪心/内省,基于 ASI 生成补丁,默认模式;L2 GEPA,仅杠杆 6,需 use_gepa=True;L3 多目标 Pareto,属未来工作。顺序上须先对杠杆 1-5 运行 L1,再对杠杆 6 运行 L2。

Patch DSL:32 种 PATCH_TYPES、16 条 CONFLICT_RULES,validate_patch_set() 做冲突检查与爆炸半径限制(每补丁集最多 5 个对象)。ASI 含 23 种失败类型与 12 字段 schema,propose_patch_set_from_asi() 按 blame_set 聚类合成补丁。

限制:须消费逐行失败产物而非聚合指标;counterfactual_fix 过于笼统时忽略;路由为概率性,双边消歧不保证一致;低效模式需按升级阶梯处理。具体安装与调用命令资料未提供。