SuperAPI AI 工具集

autoctx-evaluate

测试与质量

查看项目

更新于 10-15 21:54

技能介绍

用途:该技能指导智能体使用 Google Evalbench 架构,对已生成的 ContextSet 与指定黄金真值数据集进行严格评估,组织评估实验并执行相关二进制程序。

输入要求:需要位于工作区根目录的 tools.yaml(含目标数据库连接信息)、绝对路径的黄金评估数据集(简化的用户可见格式:JSON 列表,每项含 id、database、nlq、golden_sql),以及 context_set_id(可从 GCP Database Studio 控制台获取)。

主要流程:1)扫描 autoctx/experiments/ 选择或新建实验文件夹,并将选择记录到 autoctx/state.md;若无实验文件夹,需让用户选择引导基础上下文或使用已有上下文,已有上下文须上传 GCP Database Studio 获取 context_set_id。2)收集 golden_dataset_path 和 context_set_id,并读取 autoctx/tools.yaml 列出支持的 source 数据库供选择。3)使用 generate_evalbench_configs MCP 工具生成配置,配置写入 eval_configs/ 目录。4)在根目录执行:uvx google-evalbench --experiment_config=autoctx/experiments/<experiment_name>/eval_configs/run_config.yaml,检查报告是否生成到 eval_reports/。完成后确认评分并给出指标 CSV 位置与后续改进建议。

限制:不支持的类型或工具失败需分析重试,内部系统错误应停止并告知用户;不得自行编造配置。