用途:在 Arize 上管理人工标注体系,包括定义标签模式的 annotation configs 和面向人工审核的 annotation queues,同时支持通过 Python SDK 批量给项目 span 打标注。
主要能力:annotation config 定义单类人工反馈标签,含名称、类型(categorical/continuous/freeform)、分类取值与分值、连续数值范围、优化方向;标注队列将记录(span、数据集样本、实验运行)路由给审核者,并关联一个或多个配置;CLI 支持 list/create/get/delete、队列 create/update/delete、list-records、annotate-record、assign-record、delete-records;SDK 用 client.spans.update_annotations 批量更新 span 标注。
使用方式:--space 接受空间名或 base64 ID,可用 ax spaces list 查询。示例:ax annotation-configs create --name "Correctness" --space SPACE --type categorical --value correct --value incorrect --optimization-direction maximize;连续型加 --min-score/--max-score;自由文本仅需名称、空间、类型。队列创建至少一个 --annotation-config-id,可重复传入配置与审核者邮箱,assignment-method 为 all 或 random。提交标注:ax annotation-queues annotate-record NAME_OR_ID RECORD_ID --annotation-name "Correctness" --label "correct" --space SPACE,按配置名 upsert。SDK 示例用 context.span_id 加 annotation.<name>.label 或 .score,可选 updated_by、updated_at、notes。
适用场景:人工审核 LLM 输出质量、构建标签模式、将审核任务分派给评审人、把外部标注结果批量回写 span。
限制:需先存在对应 annotation config,标注才会持久化;删除配置不可逆,并会移除队列关联;队列 update 时列表类参数为整体替换;SDK 标注仅适用于提交前 31 天内的 span;凭据通过 ax profiles 或 ax ai-integrations 获取,不要读取 .env 或搜索文件系统,缺失时向用户询问;其余未提供信息暂未说明。