SuperAPI AI 工具集

gcp-agent-eval-engine-runner

智能体与模型

查看项目

更新于 10-15 21:54

技能介绍

用途:为自动化评估流水线提供“引擎”,在影子修订版本上运行大量并行请求,并捕获完整推理轨迹(Thinking Process)。

主要能力:并行推理,使用 asyncio.Semaphore 限制请求速率,避免对影子服务造成冲击;SSE 捕获,连接 ADK 的 POST /run_sse 端点以流式获取中间事件;数据集增强,将 response 与 intermediate_events 追加到输入数据集;Vertex AI 集成,把增强后的数据集提交到 create_evaluation_run API。

使用方式:可让 Antigravity 执行“Create an evaluation runner script for my agent”“Implement parallel inference for my golden dataset”“Capture SSE traces for tool trajectory evaluation”等任务。核心实现见 scripts/evaluate_agent_boilerplate.py。

适用场景:需要对智能体进行规模化自动评估、对比影子版本、并基于工具调用轨迹评估推理过程的场景。

限制:资料未提供具体依赖版本、环境配置、API 参数细节及费用信息。