SuperAPI AI 工具集

arize-annotation

数据与分析

查看项目

更新于 10-15 17:18

技能介绍

用途:在 Arize 上管理人工标注体系。标注配置定义单个反馈标签的模式,必须先存在于空间中,标注才能保存到 span、数据集样本、实验输出或队列项。标注队列把记录(span、数据集样本、实验运行)路由给人工审核者,每个队列关联一个或多个标注配置。

主要能力:通过 ax CLI 对标注配置做增删改查,支持三种类型——categorical(固定标签列表,如 correct/incorrect)、continuous(数值范围及优化方向)、freeform(自由文本)。通过 ax annotation-queues 创建、更新、删除队列,添加记录,列出记录,提交标注,分配审核人,删除记录。也可用 Python SDK 的 ArizeClient.spans.update_annotations 按 DataFrame 批量给项目 span 打标注。CLI 还提供 ax spans annotate、ax datasets annotate-examples、ax experiments annotate-runs 批量标注,单次最多 1000 条,采用 upsert 语义。

必要用法:--space 接受空间名或 base64 空间 ID,可用 ax spaces list 查找。凭据用 ax profiles,LLM 提供商用 ax ai-integrations,不要读取 .env 或搜索凭据,也不要让用户粘贴密钥。创建分类配置示例:ax annotation-configs create categorical --name "Correctness" --space SPACE --value correct --value incorrect --optimization-direction MAXIMIZE。创建队列需至少一个 --annotation-config-id。提交标注可用 ax annotation-queues annotate-record,--score、--label、--text 至少一个。

限制:删除配置不可逆,相关队列关联也会被移除。更新分类的 --value 会整体替换标签列表,须重复传入所有需保留的标签。队列更新时部分标志会完全替换现有值。span 标注仅适用于提交前 31 天内的 span。基础设置、凭据、追踪等问题参见各对应参考文档;名称冲突会返回 409。实际收费、价格与平台支持情况暂未提供。