SuperAPI AI 工具集

phoenix-harbor

智能体与模型

查看项目

更新于 10-15 19:57

技能介绍

用途:将 Harbor 智能体评测结果记录到 Phoenix,形成带版本的数据集、实验、运行、评分与 ATIF 轨迹,用于对比和诊断。Phoenix 不执行 Harbor 任务,也不重算奖励。

要求:Python 3.12+、Harbor 0.21.0+、Phoenix server 15.0+,并在同一环境安装客户端:uv pip install "arize-phoenix-client[harbor]"。

用法:在原有 harbor run 命令中加入 --plugin arize-phoenix,保留用户的数据集、智能体、模型、环境、并发、重试与任务设置。默认 trace_mode=atif,也可用 --plugin-kwarg trace_mode=null 关闭轨迹。设置端点与密钥:export PHOENIX_COLLECTOR_ENDPOINT=http://localhost:6006 与 export PHOENIX_API_KEY=your-api-key(无需认证时省略)。也可用插件参数 endpoint、api_key、dataset、experiment_name、experiment_name_template 覆盖。

记录映射:一个任务集合对应一个带版本数据集,一个任务对应一个数据集示例,一种智能体与模型配置对应一个实验,一次计划尝试对应一个重复,最终逻辑试验对应一个运行,最终文本轮为输出,最终验证奖励为 CODE 类型评估,步骤奖励命名为 <step_name>.<reward_key>,异常产生运行错误与 infra_ok=0。仅记录逻辑试验的最终物理尝试。

参考输出:任务根 task.toml 可写 [metadata.arize-phoenix] reference_output_path="tests/expected.json",插件在 setup 读取 UTF-8 JSON;字符串转为 messages 格式,对象原样保存,其他类型需包裹为对象;路径须相对任务根且禁止逃逸。

评分:reward 表示行为结果,0 是行为失败而非基础设施错误;infra_ok 1 表示无异常,0 表示至少一次异常。比较时先看有 reward 的运行比例,再看 infra_ok,并用步骤分数和轨迹定位失败。

轨迹:一次逻辑试验对应一条轨迹和一个会话,根为 harbor.trial,多步任务含 harbor.step 子 span,支持 ATIF v1.0–v1.7,v1.8 音频字段不支持。缺失或无效轨迹会警告并记录无轨迹运行。

限制:不支持 regrade 及派生任务、事后导入、实时 OTLP 关联、单任务多数据集、混合数据集与直接任务、同一 Harbor 任务并发写入。配置错误或写入失败会中止任务;轨迹转换失败不会中止。试用选择插件即要求成功记录。