用途:为自动化评估流水线提供“引擎”,在影子修订版本上运行大量并行请求,并捕获完整推理轨迹(Thinking Process)。
主要能力:并行推理,使用 asyncio.Semaphore 限制请求速率,避免对影子服务造成冲击;SSE 捕获,连接 ADK 的 POST /run_sse 端点以流式获取中间事件;数据集增强,将 response 与 intermediate_events 追加到输入数据集;Vertex AI 集成,把增强后的数据集提交到 create_evaluation_run API。
使用方式:可让 Antigravity 执行“Create an evaluation runner script for my agent”“Implement parallel inference for my golden dataset”“Capture SSE traces for tool trajectory evaluation”等任务。核心实现见 scripts/evaluate_agent_boilerplate.py。
适用场景:需要对智能体进行规模化自动评估、对比影子版本、并基于工具调用轨迹评估推理过程的场景。
限制:资料未提供具体依赖版本、环境配置、API 参数细节及费用信息。