SuperAPI AI 工具集

agent-ready-eval

智能体与模型

查看项目

更新于 10-16 03:39

技能介绍

用途:评估代码库对自主智能体执行的友好程度,判断其基础设施是否支持真正的自主性,而非依赖人工干预。核心理念认为智能体失败多源于系统设计而非模型本身。

主要能力:围绕 12 项原则逐项打分(0-3 分),总分 36 分,并给出评级(Excellent、Good、Needs Work、Not Agent-Ready)。评估覆盖沙箱隔离、无外部数据库依赖、干净环境、会话无关执行、基于结果的指令、直接低层接口、最小框架开销、显式状态持久化、早期基准、成本规划、可验证输出、基础设施约束权限。

使用方式:先探索代码库收集证据,重点检查 Dockerfile、docker-compose.yml、.devcontainer/、Makefile、setup.sh、CI 配置、Nix 文件、各类锁文件、数据库与迁移配置、.env.example、CLI 入口、API 定义、后台任务配置、超时限制、测试与基准、日志、成本与限流配置等。随后阅读 evaluation-criteria.md 的评分细则逐项打分,最后按指定格式生成报告,包含总分、评级、摘要、原则评分表、前三项改进建议、优势与详细发现。时间有限时可优先检查高信号指标:是否存在 Dockerfile、锁文件、默认配置是否无外部数据库、bin/ 或 Makefile 中的 CLI 脚本、带断言的测试。

适用场景:在让自主智能体接手代码库前做就绪度审计,或用于识别架构层面的阻塞点。

限制:资料未提供具体安装命令、运行命令、依赖要求、收费信息或平台支持范围,这些内容暂未提供。