AgentOps 是一个 AI 智能体可观测性与监控平台,定位为“追踪、调试和部署可靠的 AI 智能体”,官方称其正在为数千名构建可靠智能体的工程师提供支持。
用途方面:AgentOps 用于对 AI 智能体的运行过程进行追踪、调试与部署监控,帮助开发者了解智能体在生产或开发中的实际行为。
主要能力方面:
- 可视化追踪事件,包括 LLM 调用、工具使用以及多智能体交互。
- 时间旅行调试(Time Travel Debugging):以精确到时间点的方式回退并重放智能体的运行过程。
- 调试与审计:保留从原型到生产的完整数据链路,涵盖日志、错误和提示注入攻击。
- 统一 SDK,多集成(One SDK. Many integrations.)。
- 跨多个智能体追踪花费。
- 追踪、保存并监控智能体看到的每一个 token。
- 通过最新的价格监控管理和可视化智能体花费。
- 基于保存的完成结果微调专用 LLM,官方称最高可便宜 25 倍。
- 智能体无关的 SDK(Agent Agnostic SDK)。
- LLM 成本追踪,覆盖 400+ LLM。
- 重放分析(Replay Analytics)。
使用方式方面:官方提供免费开始使用,采用 SDK 接入并支持多种集成;具体集成清单和安装命令暂未提供。
适用场景方面:适用于需要追踪、调试、审计和监控 AI 智能体(含多智能体)运行的开发与生产场景,以及需要管理 LLM 成本、token 消耗和微调专用 LLM 的团队。
限制与定价方面:免费额度为最多 5,000 个事件;付费为按量付费,并提供定价计算器。官方说明的付费信息为每席位每月 40 美元、前 100K spans 免费、LLM token 0.20 美元/百万。Pro 版包含 Basic 全部内容,另加无限制事件量、无限制日志保留、会话与事件导出、专属 Slack 和邮件支持、基于角色的权限控制。企业版从更高层级起,包含 Pro 全部内容,另加本地部署、自定义数据保留策略、自托管(AWS、GCP、Azure)、SOC-2、HIPAA、NIST AI RMF。官网还提到使用 cookie 以确保最佳体验。