SuperAPI AI 工具集

eval-outcomes

智能体与模型

查看项目

更新于 10-15 17:29

技能介绍

用途:对智能体或模型输出按 Outcomes 进行评分,支持保留集安全评测与运行时对比;同时承接原独立场景技能,用于编写和管理行为验证用的保留集场景。

主要能力:使用 ao CLI 管理保留集场景。ao eval scenario add "<title>" 在 .agents/holdout/ 下创建场景,ID 形如 s-YYYY-MM-DD-NNN,含验收向量,默认满意度阈值为 0.8;ao eval scenario validate 校验保留集模式与链接图。链接的场景通过 ao goals scenarios 为指令适应度提供输入。场景以叙述形式定义系统应做什么,并配可度量验收向量与满意度评分;场景文件存放于 .agents/holdout/*.json,使实现代理在开发期间不可见。该技能编码了独立裁决机制。

使用方式:按技能触发词 "eval-outcomes" 唤起。技能说明指出其规范文件位于 ~/dev/mt-olympus/.claude/skills/eval-outcomes/SKILL.md,应阅读并遵循该文件;当前条目为桩,保留机群路由直至 using-agentops 目录更新注册表。

适用场景:需要保留集行为验证、独立裁决或运行时输出比较时使用;被要求编写、管理或评分保留集场景时触发。

限制:资料未说明具体平台、收费或价格。部分机制细节指向外部规范文件与文档,未在此提供;是否存在图形界面、集成方式及更多命令参数暂未提供。