用途:AXIS(Agent Experience Index Score)是面向 AI 智能体的合成测试框架。本技能用于为项目编写 AXIS 场景与 axis.config.json,触发语包括“set up AXIS”“add an AXIS scenario”“write an axis.config.json”“evaluate my agent with AXIS”等。
主要能力:每个场景让所有已配置智能体在隔离工作区中执行同一提示,再从四个维度评分并生成 HTML + JSON 报告:目标达成(默认权重 0.4)、环境(0.2)、服务(0.2)、智能体(0.2)。场景为 scenarios 目录下的 JSON 文件,路径(去扩展名)即场景键,必填字段为 name、prompt、judge。judge 可为单条字符串或带权重的检查数组。支持 setup/teardown 生命周期动作(run_script、copy),copy 可复制本地 fixture 或克隆 git 仓库(可用 #ref 固定版本)。支持 variants(同一场景的多种配置,键为 {scenarioKey}@{variantName})与 runs(重复运行,须为奇数,最大 19)。
配置:axis.config.json 位于项目根目录,最小配置为 scenarios 与 agents。可配置 agents、judging、mcp_servers、skills、artifacts、adapters、env、settings(并发、runs、limits、remotes)、beforeAll/afterAll 钩子,以及 profiles 命名覆盖层(用 axis run --profile <name> 选择)。内置适配器有 claude-code(需 ANTHROPIC_API_KEY)、codex(需 CODEX_API_KEY)、gemini(需 GEMINI_API_KEY),其他名称须在 adapters 中声明。
使用方式:若根目录已有 axis.config.json 或 axis.config.{js,ts},先读取,未经确认不要覆盖;若存在 scenarios 目录,先列出并沿用其命名与风格;若无配置,建议先运行 npx @netlify/axis init,或按文档模式自行搭建。
限制:真实 .json 文件不支持注释与尾随逗号,文档中标注 jsonc 的示例需去掉注释与尾随逗号后再使用。仓库依赖不会自动安装,需要时在 copy 后追加 npm install。profiles 不可嵌套,未知 --profile 名称会报错。其余细节(如具体价格、平台支持范围)资料未提供。