SuperAPI AI 工具集

agento11y-test-starter

测试与质量

查看项目

更新于 10-15 21:55

技能介绍

用途:在 AI 智能体项目早期、上线前且没有真实流量时,帮助开发者建立离线测试。难点不在运行测试,而在于缺少测试用例和评分方式,本技能从智能体实际代码出发解决这一点。它属于预生产离线阶段,只编写测试用例和本地运行器,不触碰租户。智能体部署并有真实流量后,在线评估规则与防护属于另一技能 agento11y-prod-setup。

主要能力:始终产出针对该智能体的、有排序和理由的评估器推荐,以及一份供开发者审阅扩展的起步套件 YAML。根据智能体可运行程度,为易调用型生成运行器桩 run_experiment.py,把套件接到 SDK 并留两个待填空洞,可选在获得许可后运行;对需要测试夹具或完整运行时的智能体,则指向已有评估基础设施。技能与语言无关,读取、推荐和 YAML 不依赖智能体语言。

使用方式:先阅读智能体入口、系统提示、工具定义、真实请求示例、LLM 提供商与模型,并评估可运行性(easy、in-process、full-stack)。再选 3–6 个评估器,类型为 llm_judge 或 deterministic。然后写套件 YAML,至少 6 个用例,偏向边界与对抗场景,类别用 happy、edge、adversarial,需能被 TestSuite.from_yaml 加载。最后按可运行性生成运行器。运行套件需安装 SDK:Python 用 pip install agento11y python-dotenv,Go 用 github.com/grafana/agento11y/go;仅运行阶段需要。

限制:不得在租户中创建、启用或修改评估器、规则或防护,不做控制面写入;不得重写提示、优化或重新部署;未经询问不得运行实验;不得伪造或存储凭据,端点与令牌须由开发者提供;生成的用例只是草稿,不得当作已验证;llm_judge 必须复用智能体已有提供商,不得默认引入 litellm;目标为 Grafana Cloud,发布分数需要 AGENTO11Y_ENDPOINT 和 AGENTO11Y_AUTH_TOKEN。experiments SDK 目前仅支持 Python 和 Go,其他语言需跨进程调用或等待支持。agento11y-experiments 目前位于 grafana/agento11y 仓库,尚未并入 gcx 包。