用途:当改动会影响用户在 Phoenix UI 中看到的内容时,Phoenix Verify 用一次真实的端到端往返来验证 OpenInference 埋点改动——运行示例导出到本地 Phoenix,读回 span,核对一条具体断言,并把该检查输出作为证据写入 PR 或总结。
主要能力:支持单次运行(验证既有行为或新功能)与 before/after(修复或一致性对比)两种模式;提供两种读回路径,返回相同的 span JSON:px CLI 配合 jq,或已连接的 Phoenix MCP 服务器。工作流按语言区分,只需阅读 python.md、javascript.md、java.md 中的一个,以及 readback-cli.md 或 readback-mcp.md 中的一个。
使用方式:先确认 Phoenix 可达,例如 px project list --format raw --no-progress > /dev/null && echo "phoenix ok at ${PHOENIX_HOST:-http://localhost:6006}" 必须打印 ok 行;可用 uvx arize-phoenix serve 或 docker run -p 6006:6006 -p 4317:4317 arizephoenix/phoenix:latest 启动。然后声明断言、选择或编写示例、建立隔离环境并证明运行的是工作树而非发布版、确认项目为空后运行示例、读回 span、判断断言、报告证据。读回时先取一次到文件并计数,再用 scripts/span_tree.sh 渲染 tree、keys、values、errors 视图。
适用场景:验证埋点改动、修复或语言间一致性,需要可复现证据时。
限制:需要 px 与 jq 在 PATH 中(或 npx @arizeai/phoenix-cli),--attribute 过滤需 Phoenix 服务器 >= 14.9.0;示例调用模型时需导出提供商 API 密钥,建议优先使用离线示例;px span list 默认只返回最新 100 条;项目从未收到 span 时会表现为 404;批处理器需在退出前显式 flush,否则最后一批 span 不会到达。资料未提供收费、价格与平台信息。