SuperAPI AI 工具集

behavioral-evals

智能体与模型

查看项目

更新于 10-16 05:49

技能介绍

用途:behavioral-evals 是 Gemini CLI 的行为评估(evals)指南,用于创建、运行、修复和提升行为评估。行为评估验证智能体的决策逻辑(例如工具选择),而非纯功能,对验证提示词变更、调试可控性和防止回归至关重要。

主要能力与工作流:指南提供决策树帮助选择测试类型。若提示词或工具变更需要验证,则进入行为评估;若为 UI/交互密集型,使用 appEvalTest(AppRig),否则使用 evalTest(TestRig)。新测试策略设为 USUALLY_PASSES,已有测试设为 ALWAYS_PASSES 以锁定回归。修复失败或提升测试分别参考 fixing.md 与 promoting.md。

使用方式:快速清单包括三步。一是设置工作区,用 files 对象填充必要文件以模拟真实场景(如含 package.json 的 NodeJS 项目);二是编写断言,通过 rig.setBreakpoint()(仅 AppRig)或对 rig.readToolLogs() 做索引验证来审计智能体决策;三是验证,用 Vitest 在本地运行单个测试,确认稳定后再依赖 CI 工作流。运行命令参见 evals/README.md。

适用场景:验证提示词或工具变更、调试智能体可控性、防止行为回归。

限制:核心概念、策略、运行测试与最佳实践以 evals/README.md 为唯一事实来源。资料未提供具体安装命令、收费信息或平台细节。