用途:gcp-agent-eval-metric-configurator 是一个技能,用于帮助配置较复杂的自动化评估指标,面向 Vertex AI 生成式 AI 评估。资料称其以 evaluation_blog.md 为基础,支持基于计算、基于评分标准以及托管的 Vertex AI 指标三类。
主要能力:提供指标模板。资料提到可参考 resources/metric_templates.json 获取标准定义。指标分类包括:基于计算的指标,如 JSON 有效性、执行轨迹匹配;托管式基于评分标准的指标(Vertex AI),包括 GROUNDING(确保回答完全由上下文支持,适用于 RAG)、TOOL_USE_QUALITY(检查是否调用了正确的工具且参数正确,无需参考答案);以及自适应评分标准(Adaptive Rubrics),即用 LLM-as-a-judge 根据为每个提示生成的独特标准来给回答打分。
使用方式:资料给出通过 Antigravity 以自然语言请求的方式,例如“为我的研究型智能体配置 Grounding 指标”“向我的管道添加 Tool Use Quality 评估器”“对照我的参考答案设置 ResponseMatch 检查”“为风格一致性配置自适应评分标准”。
适用场景:需要为智能体设计评估管线、衡量回答是否有依据、评估工具调用质量或对照参考答案进行匹配的场景。
限制:资料未提供安装命令、收费、价格、平台细节、具体效果或完整使用步骤,这些暂未提供;实际配置细节需以官方仓库与 resources/metric_templates.json 为准。