SuperAPI AI 工具集

using-axis

通用与其它

查看项目

更新于 10-16 01:35

技能介绍

AXIS(Agent Experience Index Score)是面向 AI 智能体的合成测试框架。本技能是操作者指南,说明如何调用 CLI、AXIS 将文件写在哪里,以及如何解读评分输出。编写场景与 axis.config.json 请参见 configure-axis 技能。

用途与触发:当用户要求运行 AXIS、调用 CLI、运行特定 profile、比较多次运行、解释分数、找出回归场景、设置基线、询问报告位置或维度含义时使用。框架输出统一称为 AXIS Result。

主要命令:二进制为 axis,也可用 npx @netlify/axis。axis init 生成 axis.config.json 与示例场景,并安装技能,支持 -s/--scenarios、-a/--agent、--format、-f/--force、--no-skills。axis run 在隔离工作区中对每个配置的智能体执行全部场景并评分、写报告,支持 -c/--config、-s/--scenario、-a/--agent、-p/--profile、--concurrency、--runs、--failed、--no-score、--compare-baseline、--refresh-skills、--refresh-repos、--json、-v/--verbose、--debug、-o/--output-dir。--runs 必须为奇数(1 到 19),偶数会报错;每次额外运行都增加完整执行与四次评审调用,成本约成倍。axis reports 查看历史报告,axis baseline 管理基线(set/list/show/compare/delete)。

目录结构:AXIS 写入内容都在配置目录下的 .axis/,包括 reports/、baselines/、remotes/、repos/、skills-cache/;配置、场景、技能等源文件不在 .axis/ 下。

评分框架:每次运行按四个维度评分(各 0-100)再加权合成:目标达成(默认权重 0.4,由 LLM 评审对照场景检查项)、环境(0.2,文件系统、shell、网络执行可靠性)、服务(0.2,外部服务与 MCP 交互可靠性)、智能体(0.2,每次工具调用的决策质量)。权重可在 settings.scoring_weights 覆盖。环境与服务只评估执行可靠性,不判断输出是否有用;智能体维度审计每一次交互。速度始终为启发式分桶,不用 LLM。智能体子维度:必要性 0.4、相关性 0.2、权重 0.2、成功 0.1、速度 0.1。合成公式为 axisScore = goalw_goal + environmentw_env + servicew_svc + agentw_agent。所有维度采用对数正态 CDF 映射(中位数 0.5,sigma 0.4),因此完美运行也约在 95-99,95 以上即顶级区间,100 几乎不可能。

读取报告:report.json 含 version、reportId、timestamp、durationMs、summary、results[]。每个结果含场景键、智能体名、耗时、退出码、token 用量、各维度分数与审计项。多次运行时结果条目描述代表性运行(合成分数最接近中位数的那次),并附 runCount、runs[]、spread、reliability 字段。引用时用代表性运行的 axisScore,讨论稳定性时引用 spread;被扣留的运行不计为失败。

诊断低分:目标下降看 criteria 中低于 10 的项;环境下降看 audits 中 success 小于 1 的项;服务下降同理;智能体下降先看必要性,低表示冗余调用。

与基线比较:按 scenarioKey 匹配,用容差带(max(1, 2*stdev))与 Welch t 检验两种判定,可同时引用效应量 d 与 p 值。退出码跟随容差带而非检验。

引用规则:必须打开实际文件读取数值,不得编造;称输出为 AXIS Result;不使用长破折号;区分执行质量与决策质量;不虚构 CLI 标志;95 以上视为顶级区间。