SuperAPI AI 工具集

arize-experiment

数据与分析

查看项目

更新于 10-15 21:52

技能介绍

用途:围绕 Arize 平台管理评估实验,对某个数据集版本运行模型并收集输出与评估指标,从而比较不同模型或提示的性能。

主要能力:实验的增删改查(ax experiments list/get/create/delete);导出全部 runs(ax experiments export,默认 REST,--all 走 Arrow Flight 批量传输);通过 CSV、JSON、JSONL 或 Parquet 文件创建实验;将 runs 输出到 stdout 供 jq 等工具处理。核心概念包括 Experiment、Experiment Run、Dataset 和 Evaluation。

使用方式:实验每个 run 需包含必填的 example_id 与 output,可选 evaluations(label、score、explanation)与 metadata。典型流程为导出数据集、对每个示例调用真实模型 API 收集输出、整理 runs 后创建实验。创建示例:ax experiments create --name "gpt-4o-baseline" --dataset DATASET_NAME --space SPACE --file runs.json。--space 接受空间名或 base64 空间 ID。认证通过 ax profiles 管理,切勿读取 .env 或搜索文件系统找凭据。

适用场景:模型基线与候选对比、按示例定位回归、评估分数分布统计、将实验结果导入其它分析工具。

限制:必须调用用户指定的真实模型 API,禁止伪造或模拟输出、延迟或评分;不得预先检查版本、环境变量或配置文件;REST 导出每页上限 500 runs,超过需加 --all;分数比较建议每个评估器至少 30 个示例,样本不足时结果仅供参考;无法访问 API 时应停止并告知用户所需条件。