SuperAPI AI 工具集

eval-and-improve

测试与质量

查看项目

更新于 10-16 04:58

技能介绍

用途:在开发该仓库时,由编码智能体(如 Claude Code、Codex 等)以 /eval-and-improve 斜杠命令运行,执行 agent 平台的评测套件,诊断每个失败用例,修复范围内问题,直到所有用例通过。

主要能力:评测接线位于 evals/cases.py(声明用例)与 evals/main.py(运行器)。每个用例使用 agno 内置的 AgentAsJudgeEval(LLM 按评分标准判定,二元通过/失败)和/或 ReliabilityEval(断言哪些工具被调用),无自定义 DSL。修复可能涉及 agents/<slug>.py,或按第 3 步在 app/main.py 中做罕见的一行配置调整。

使用方式:先满足前置条件——Postgres 在 5432 可达(nc -z localhost 5432 返回 0,否则从源仓库运行 docker compose up -d agentos-db);激活虚拟环境 source .venv/bin/activate(若 .venv 不存在先运行 ./scripts/venv_setup.sh);.env 需含 OPENAI_API_KEY(可选 PARALLEL_API_KEY)。运行套件:python -m evals --profile smoke(快速模板冒烟)、--profile release(更广的预发布)、--profile live(当前网络/来源检查)、--case <name>(单用例迭代)、--json-output out.json、-v。输出以摘要块结束,全通过退出码为 0。修复后重跑失败用例,全部通过后再跑一次 release 确认无回归,退出码 0 并打印 Eval Summary 即停止。

适用场景:评测失败时、需要迭代 agent 指令或工具时、需要新增用例时。

限制:不得为让用例变绿而弱化用例;仅当断言确实错误时才编辑用例。范围外事项包括删除用例、编辑 db/ 或 app/ 使用例通过、编辑 agno 本身。需要针对实时容器快速迭代时转交 improve-agent;用户驱动的变更(加工具、修已知 bug)用 extend-agent。MCP 拆除时的 stderr 噪音无害,仅以 Eval Summary 表和退出码为准。若重跑中途中止(无摘要),视为不确定,需重跑。