SuperAPI AI 工具集

phoenix

Arize Phoenix 是 Arize 推出的开源 AI 可观测性平台,用于 LLM 应用的实验、评估与故障排查。它基于 OpenTelemetry 提供追踪能力,支持用 LLM 对应用性能进行响应与检索评估,可创建版本化数据集、跟踪提示词与模型变更实验,并提供 Playground 用于优化提示词、比较模型和重放追踪调用。平台内置提示词管理与 PXI 智能体,还提供远程 MCP 服务器,可连接 Claude Code、Cursor 等客户端查询追踪、数据集与实验。Phoenix 与厂商、语言和框架无关,开箱支持 OpenAI Agents SDK、LangGraph、LlamaIndex、DSPy 等框架及多家 LLM 提供商,可本地、容器或云端自托管运行。

访问官网

工具介绍

Arize Phoenix 是 Arize 推出的开源 AI 可观测性平台,面向 LLM 应用的实验、评估与故障排查。对于需要管理生产工作流的用户,Arize 另提供托管平台 Arize AX,两者共用相同的 OpenTelemetry/OpenInference 插桩。

主要能力

  • 追踪(Tracing):使用基于 OpenTelemetry 的插桩追踪 LLM 应用的运行时行为。
  • 评估(Evaluation):利用 LLM 通过响应评估和检索评估来对应用性能进行基准测试。
  • 数据集(Datasets):创建版本化的示例数据集,用于实验、评估和微调。
  • 实验(Experiments):跟踪并评估提示词、LLM 和检索的变更。
  • Playground:优化提示词、比较模型、调整参数,并重放已追踪的 LLM 调用。
  • 提示词管理(Prompt Management):通过版本控制、标签和实验系统化地管理和测试提示词变更。
  • PXI(Phoenix Intelligence):内置于 Phoenix 的 AI 工程智能体,用于调试追踪、迭代提示词和导航产品。
  • 远程 MCP 服务器:将 Claude Code、Cursor 等 MCP 客户端连接到 Phoenix 实例的 /mcp 端点,以查询追踪、数据集、实验等。

兼容性 Phoenix 与厂商、语言和框架无关,开箱支持主流框架(OpenAI Agents SDK、Claude Agent SDK、LangGraph、Vercel AI SDK、Mastra、CrewAI、LlamaIndex、DSPy)和 LLM 提供商(OpenAI、Anthropic、Google GenAI、Google ADK、AWS Bedrock、OpenRouter、LiteLLM 等)。自动插桩的细节可参考 OpenInference 项目。

使用方式 Phoenix 可运行在本地机器、容器化部署或云端。可通过 pip 或 conda 安装,也可使用 uvx 免安装运行。最快的发送追踪方式是让编码智能体(Claude Code、Codex、Cursor 等)为应用插桩:在项目目录中运行相应命令,设置会检测框架和 LLM 提供商,安装正确的 OpenInference 插桩并配置追踪导出。也可在代码中手动接入。Phoenix 容器镜像可通过 Docker Hub 获取,并可使用 Docker 或 Kubernetes(通过 Helm chart)部署。

面向人类与编码智能体 Phoenix 设计为可由人和 AI 编码智能体共同驱动,提供三种接口:CLI(npx @arizeai/phoenix-cli)可获取追踪、数据集和实验并为应用插桩;Skills(.agents/skills/)打包工作流,教智能体如何用 Phoenix 调试、评估和追踪;远程 MCP 服务器可连接任意 MCP 客户端到实例的 /mcp 端点直接查询 Phoenix。

安全与隐私 默认情况下,Phoenix 收集基本网络分析数据(如页面浏览、UI 交互)以了解使用情况并改进产品,不会收集追踪数据、评估结果或任何敏感信息。可通过设置环境变量 PHOENIX_TELEMETRY_ENABLED=false 选择退出遥测。

许可 本软件采用 Elastic License 2.0 (ELv2) 许可。部分代码受一项或多项美国专利保护。