用途:为 Axiom AI SDK 编写评估(evals),即 AI 能力的测试套件,衡量能力在每次改动后是否仍正确。先读取功能代码,推断输入输出、模型调用、已有评估与 app-scope,再生成评估。
主要能力:生成 .eval.ts 文件、评分器(scorer)、标志 schema 与配置;支持离线、在线(生产流量)与回测三种模式;按输出类型选择评估类型(分类、文本质量、检索、结构化输出、工具调用、流式)。每个评估至少两个评分器:正确性 + 质量,用户可见文本可加无参考评分器。数据覆盖 happy path、对抗、边界与负例,建议至少 5–8 条,生产覆盖 15–20 条。
使用方式:先完成 Axiom AI SDK Quickstart(埋点 + 认证),确认 ls node_modules/axiom/dist/,未装则用项目包管理器安装,例如 pnpm add axiom。始终先查 node_modules/axiom/dist/docs/ 获取与已装版本匹配的 API 签名。设置环境变量 AXIOM_URL、AXIOM_TOKEN、AXIOM_DATASET、AXIOM_ORG_ID 到 .env。常用命令:scripts/eval-init 初始化,scripts/eval-scaffold <type> <capability> [step] 脚手架,scripts/eval-validate 校验,scripts/eval-add-cases 查覆盖缺口,npx axiom eval 运行,npx axiom eval --debug 本地无网络运行,npx axiom eval --list 列出用例,npx axiom eval -b BASELINE_ID 对比基线,npx axiom eval --flag.myCapability.model=gpt-4o-mini 覆盖标志。在线评估用 import { onlineEval } from 'axiom/ai/evals/online',其评分为无参考,不向应用抛错。
限制与注意:flagSchema 叶字段必须有 .default(),不支持 z.union(),改用 z.enum();文件须以 .eval.ts 结尾;默认超时 60 秒,可用 timeout: 120_000 覆盖;vitest 报加载失败时重装 axiom。具体价格、平台可用性等资料暂未提供。