SuperAPI AI 工具集

add-your-agent

智能体与模型

查看项目

更新于 10-19 17:54

技能介绍

用途

该技能用于将当前代码仓库中的智能体作为“Your image”候选接入 Veris Bench,并通过一次冒烟试验证明集成可用。技能强调智能体本身是常量:优先在智能体旁边新增一个服务器文件、一个 Dockerfile 和一个候选文件;只有在没有其他办法时才修改智能体自身的代码,并需在报告中说明。

主要能力

技能按步骤引导完成整条接入链路:

  1. 检查对目标 bench 的访问权限,要求为 write 权限。
  2. 在不修改代码的情况下阅读智能体,记录语言与入口点、单轮对话函数与历史维护方式、模型 SDK 及版本、调用的每个外部服务及其地址来源、读取的密钥、按相对路径打开的文件。
  3. 读取 bench 的 world 服务列表,把智能体调用的每个服务匹配到孪生服务;对没有孪生服务的调用需告知用户。
  4. 按参考模式添加 bench_server.py 或 bench_server.mjs,包装智能体的轮次函数,按会话 id 保持一个对话,提供 /health,监听 0.0.0.0:8008。
  5. 在服务器文件中把智能体指向孪生服务,在智能体模块加载前把 VERIS_DS_SERVICE_URLS 中各孪生地址复制到智能体已读取的配置项。
  6. 编写 Dockerfile 与 .dockerignore;若仓库已有可用 Dockerfile 可复用。
  7. 本地以 linux/amd64 构建并运行,检查 /health 与一次对话轮次。
  8. 推送镜像并按摘要固定,运行 check-image,保存镜像仓库登录信息,确认密钥已放入 bench 的 candidate-env,编写 bench/candidate.json 并注册候选。
  9. 运行冒烟试验并验证。

使用方式

技能需要先收集输入:VERIS_API_KEY(环境变量,以 vbk_ 开头,只能由用户在控制台签发,不得打印或写入文件)、BENCH_API(默认 https://bench.api.veris.ai/v1)、BENCH_ID、镜像仓库前缀(如 ghcr.io/<org>)以及智能体读取的模型密钥(如 OPENAI_API_KEY,放入 bench,不放入镜像或仓库)。在步骤 1 前阅读 reference/api.md,步骤 2 前阅读 reference/image.md。

完成后需向用户报告:新增或修改的文件(每行一个)、镜像引用、候选 id、试验 id、控制台链接 https://benchmark.veris.ai/benchmarks/<bench id>?trial=<trial id>、每个冒烟尝试的五项检查与 passed 结果、对智能体自身代码或依赖的改动及原因、首次冒烟运行后的每项修复及原因。后续可参考 https://docs.veris.ai/run-a-trial 运行完整试验,新版本则在同一试验中创建新候选。

验证标准

冒烟试验完成不代表集成成功。技能给出五项检查:尝试状态为 completed;turns 为 2 或以上且转录中有智能体回复;评分器能看到模型调用(agent_trace_reason 为 null 且 agent_trace.json 中 llm_calls 大于 0);若有工具则 tool_calls 大于 0 且工具结果不是错误;智能体使用的每个孪生服务至少收到一次来自它的请求。passed 不在检查清单内,因为它衡量的是智能体本身而非集成。

适用场景

适用于需要把仓库内智能体接入 Veris Bench 作为候选、更新候选到新版本,或在基准环境中验证智能体集成的开发者。

限制与注意事项

技能文档还列出若干“看似成功”的陷阱,例如 Node 智能体数据库工具因 DSN 的 sslmode=require 与自签名证书导致失败,需在服务器文件中给 DSN 追加 uselibpqcompat=true;追踪钩子写入运行用户无权限的目录导致无 span;openai 包低于 5 导致无模型调用记录;在 Apple Silicon 上构建 arm64 镜像导致 exec format error 等。此外,API Key 只能由用户在控制台签发,绝不可打印或写入文件。