SuperAPI AI 工具集

cxas-sim-eval

编程与开发

查看项目

更新于 10-15 21:54

技能介绍

用途:把 CXAS 逐轮黄金评估转换为 SCRAPI SimulationEvals 框架的高层、目标导向测试用例,并通过分析智能体工具为预期补充具体工具调用。

主要能力:从 CES API 获取评估列表与智能体工具配置;获取应用内所有工具的完整 schema;运行转换脚本生成模拟测试用例;运行模拟评估、记录原始结果并生成合并 HTML 报告。若智能体启用了 intercept_and_score_reasoning 工具,脚本会自动提取并分析失败评估中的内部推理,检测过度思考、犹豫、回溯等问题,并结合智能体指令在报告中给出改进建议。

使用方式:先确认已安装 cxas_scrapi(python -c "import cxas_scrapi")并完成 gcloud 认证(gcloud auth list,必要时 gcloud auth login)。必须向用户询问应用/智能体的完整资源名(如 projects/.../locations/.../apps/...)和基础输出目录。随后可运行脚本:fetch_app_data.py 获取评估与智能体配置;fetch_tool_schemas.py 获取工具 schema;convert_eval.py 转换评估;run_evals.py 运行评估。示例:python .agents/skills/cxas-sim-eval/scripts/fetch_app_data.py --app-name "projects/.../locations/.../apps/..." --output-dir /path/to/output_directory;convert_eval.py 支持 --parallelism;run_evals.py 支持 --parallelism、--start-index、--end-index。

适用场景:需要将已有逐轮评估升级为高层模拟测试、验证智能体工具调用预期、批量运行评估并定位推理问题的团队。

限制:依赖 cxas_scrapi 包与 gcloud 认证;需用户提供完整资源名和输出目录;认知诊断仅在启用 intercept_and_score_reasoning 时可用;其他平台、收费与效果信息暂未提供。