SuperAPI AI 工具集

arize-dataset

数据与分析

查看项目

更新于 10-15 17:18

技能介绍

用途:这是 Arize 平台的数据集(Dataset)管理技能,用 ax 命令行在指定 Space 中创建、查询、导出、追加、重命名和删除数据集及其样本(Example),为评估与实验准备数据。

主要能力:列举数据集(ax datasets list,支持 --space、--name、--limit、--cursor 和多格式输出);查看元数据与版本列表(ax datasets get);导出样本(ax datasets export,支持 --all、--version-id、--output-dir、--stdout);从文件创建数据集(ax datasets create,支持 CSV、JSON、JSONL、Parquet 及 --file - 标准输入);追加样本(ax datasets append,--json 与 --file 二选一,单次最多 100000 条);更新/删除样本、删除与重命名数据集、批量写入标注(annotate-examples,单次最多 1000 条)。

概念:Dataset 是带版本的样本集合;Version 是某一时点的快照;Example 是含任意用户自定义字段的记录;Space 是组织容器。id、created_at、updated_at 由服务端自动生成,禁止出现在创建或追加负载中。

使用要点:直接运行所需 ax 命令,不必预先检查版本或环境变量;命令失败再按错误排查——未找到命令或版本问题参见 references/ax-setup.md,401 或缺少密钥用 ax profiles show 检查并按 references/ax-profiles.md 处理,Space 未知参见 Space 章节,项目不明确可运行 ax projects list -o json --limit 100 让用户选择。使用数据集名称而非 ID 时需加 --space。导出恰好 500 条可能被截断,应改用 --all;追加前建议核对字段名,避免拼写错误静默新增列。安全上不得读取 .env 或搜索凭据文件,凭据用 ax profiles,LLM 提供方密钥用 ax ai-integrations,不要让用户粘贴密钥到聊天。

限制:CSV 会丢失类型信息(日期变字符串、null 变空串),JSONL 每行一个对象、不能放 JSON 数组;Parquet 本地读取需 pandas/pyarrow。创建或追加负载不得包含 id、created_at、updated_at,以及 time、count、source_record_* 等保留列。追加必须且只能提供 --json 或 --file 之一。

适用场景:构建评估集、按版本导出离线分析、管道与 jq 处理、为 arize-experiment 实验和 arize-prompt-optimization 提示优化准备数据,配合 arize-trace 导出生产 span 以确定数据集内容。相关配置项与价格信息暂未提供。