SuperAPI AI 工具集

Raindrop

Raindrop 是一款面向 AI Agent 的可观测性与问题修复平台,可追踪每一次运行、自动发现并预防静默故障。它能沿着每条消息与工具调用定位出错环节,将跨运行反复出现的失败归并为同一问题,并借助原始 trace 作为证据追溯到根因。团队可在 Slack、Web 或通过 MCP 接收告警并自动跟进,还能在合并代码前于 CI 中模拟变更、对照真实流量比较行为差异。产品强调面向开发者的数据可视化、按行为定义自定义分类器,并提供免费起步方案与面向企业的安全合规能力。

访问官网

工具介绍

Raindrop 帮助团队检测 AI Agent 的问题,并防止这些问题再次发生。其官方定位是:追踪每一次运行、自动修复静默失败、上线前先做模拟。适用对象包括从本地测试到企业级部署、将 Agent 交付给海量用户的团队。

主要能力

  • 追踪与定位:跟随每一条消息和每一次工具调用,看清一次运行究竟在哪里出现问题。
  • 模式归并:跨多次运行发现相同的失败模式,把反复出现的问题归入同一个 issue。
  • 根因分析:以原始 traces 作为证据,追溯到问题的根本原因。
  • 上线前验证:在 pull request 上查看模拟结果,在合并前捕获回归;将变更与真实流量对比,判断哪些行为得到改善。
  • 告警与自动化:当生产行为偏离轨道时立即收到告警;在 Slack、Web 或通过 MCP 调查问题并自动化后续跟进;连接现有工具后,可让 Raindrop 为 Agent 运行自动修复循环。
  • 自定义分类器:为真正重要的行为定义自定义分类器,例如官方举例中的“Aesthetic Complaints”(审美类投诉)以及 refund_agent loop(退款 Agent 的循环)。
  • 特征开关验证:在通过 feature flag 控制的情况下,先证明改进有效再逐步放开。

官方给出的典型问题示例

  • 构建失败重试循环:Agent 在恢复相同的已弃用配置键(如 Webpack 5 已不再支持的 module.loaders)后反复重试构建,每次都复现同一错误;应改为 module.rules,并更新共享模板,再将失败的 traces 针对该变更进行重放。
  • 退款重复执行:退款本身成功,但响应超时,新的重试又发起了另一笔退款,而 Agent 仍回复已退款。

使用方式与接入

  • 免费起步,无需信用卡即可开始追踪。
  • 提供 SDK,官方用户反馈提到“使用这个新 SDK,在出问题时给我们发寻呼”。
  • 支持 Slack 通知与 MCP 以及 Query SDK,可在 Slack、Web 或通过 MCP 进行调查与自动化跟进。
  • 支持在 CI 中模拟变更,并将结果展示在 pull request 上。
  • 支持通过 feature flag 先行验证改进,再逐步放开。
  • 支持仪表化本地 Agent 工作,官方用户反馈提到可用于 Claude Code 会话以改进 skills,也可用于语音 Agent。

适用场景

  • 生产环境中查找静默失败、定位出错环节并进行调查。
  • 多 Agent、并行工作流下的轨迹查看与梳理。
  • 以行为为维度的监控与告警,如错误、用户反馈模式(例如频繁重新生成、点踩激增等自定义失败条件)。
  • 面向真实流量验证变更效果,在合并前捕获回归。
  • 需要按用户群体做洞察,例如官方反馈提到用 Deep Search 为中国用户群体建立“用户说中文”的分类器,Raindrop 会进行翻译。

定价与套餐(来自官方页面)

  • Hobby:免费,含每月 1,000 events;包含 tracing 与搜索、Slack 通知、MCP 与 Query SDK、14 天数据保留、1 个自定义信号、每月 15 条 Agent 消息。官方说明:一个 event 指一条用户消息与 Agent 响应,包含工具调用与子 Agent,或一次后台 Agent 运行。
  • Pro:在 Hobby 基础上增加实时问题检测、用于调查失败的分诊 Agent、Edge-PII 脱敏(附加项)、实验与语义搜索;每月 500 条 Agent 消息、10 个自定义信号、无限数据保留;超出部分为每 event 0.003 美元(至 100 万),之后每 event 0.002 美元。
  • Enterprise:在 Pro 基础上增加 SSO / SAML 与审计日志、优先支持与 SLA 保障、Snowflake / BigQuery 导出、无限 Agent 消息、无限自定义信号;价格按团队定制。需要自定义部署可联系官方。

安全与合规 官方称“Security trusted by the Fortune 100”,并给出:SOC 2 Type II 合规,每年由独立第三方审计,完整报告可在其 Trust Center 获取;提供智能的服务端 PII 脱敏以保护敏感用户数据;企业级能力包括 SSO、审计日志、访问控制、采购支持与专属实施协助;Self-Hosting Beta 支持在自有云环境中运行 Raindrop。

限制与暂未提供的信息

  • 除上述套餐价格与计费单位外,其他地区定价、税费、退款政策等暂未提供。
  • 具体模型的上下文长度、延迟指标、支持的语言清单等性能参数暂未提供。
  • 第三方集成的完整清单、SDK 支持的语言与版本要求暂未提供。
  • 官方页面提及与 Codex 订阅、Codex 桌面应用内浏览器配合使用的用户反馈,但未给出正式支持矩阵,具体兼容性以官方文档为准。

整体上,Raindrop 将“发现静默失败 — 归并问题模式 — 追溯根因 — 上线前模拟验证 — 自动修复”串成闭环,并通过可自定义的信号与分类器适配不同团队关注的 Agent 行为。