SuperAPI AI 工具集

arize-experiment

通用与其它

查看项目

更新于 10-15 17:18

技能介绍

用途:围绕 Arize 实验(Experiment)评估与对比模型表现,覆盖实验 CRUD、导出运行、结果比较等。

核心概念:实验是针对特定数据集版本的具名评估运行,每个样例一条 run;run 含模型输出、可选评估和元数据;数据集是带版本的样例集合;评估是挂在 run 上的具名指标(如 correctness),可带 label、score、explanation。典型流程为导出数据集→逐个处理→收集输出与评估→用 runs 创建实验。

主要用法(ax 命令):

  • 列出/查看:ax experiments list(可加 --dataset、--space、--limit、-o json);ax experiments get NAME_OR_ID。
  • 导出:ax experiments export EXPERIMENT_NAME --dataset DATASET_NAME --space SPACE,默认 REST,加 --all 用 Arrow Flight(超过 500 条需用 --all)。
  • 创建:ax experiments create --name "gpt-4o-baseline" --dataset DATASET_NAME --space SPACE --file runs.json,支持 --file - 读 stdin;runs 必备 example_id(数据集样例顶层 id)与 output。
  • 本地运行任务:ax experiments run -n "my-experiment" --dataset DATASET_NAME --space SPACE --task task.py,可加 --concurrency、--dry-run;task.py 需定义 task(dataset_row)。
  • 列出/删除:ax experiments list-runs、ax experiments delete NAME_OR_ID(--force 跳过确认)。
  • 标注:ax experiments annotate-runs NAME_OR_ID --file annotations.json,按 record_id(run id)写入评估分数/标签,采用 upsert 语义,每次最多 1000 条。

限制与注意:create 只读取 example_id 和 output,内联评估不会作为分数生效,需先创建再用 annotate-runs 附加;--dataset 省略时须提供 --space 创建独立实验;不得编造模型输出或评估分数,必须调用真实模型 API;凭据用 ax profiles,不要读取 .env 或让用户粘贴密钥。统计上评估样例建议不少于 30 条。