Raindrop 帮助团队检测 AI Agent 的问题,并防止这些问题再次发生。其官方定位是:追踪每一次运行、自动修复静默失败、上线前先做模拟。适用对象包括从本地测试到企业级部署、将 Agent 交付给海量用户的团队。
主要能力
- 追踪与定位:跟随每一条消息和每一次工具调用,看清一次运行究竟在哪里出现问题。
- 模式归并:跨多次运行发现相同的失败模式,把反复出现的问题归入同一个 issue。
- 根因分析:以原始 traces 作为证据,追溯到问题的根本原因。
- 上线前验证:在 pull request 上查看模拟结果,在合并前捕获回归;将变更与真实流量对比,判断哪些行为得到改善。
- 告警与自动化:当生产行为偏离轨道时立即收到告警;在 Slack、Web 或通过 MCP 调查问题并自动化后续跟进;连接现有工具后,可让 Raindrop 为 Agent 运行自动修复循环。
- 自定义分类器:为真正重要的行为定义自定义分类器,例如官方举例中的“Aesthetic Complaints”(审美类投诉)以及 refund_agent loop(退款 Agent 的循环)。
- 特征开关验证:在通过 feature flag 控制的情况下,先证明改进有效再逐步放开。
官方给出的典型问题示例
- 构建失败重试循环:Agent 在恢复相同的已弃用配置键(如 Webpack 5 已不再支持的 module.loaders)后反复重试构建,每次都复现同一错误;应改为 module.rules,并更新共享模板,再将失败的 traces 针对该变更进行重放。
- 退款重复执行:退款本身成功,但响应超时,新的重试又发起了另一笔退款,而 Agent 仍回复已退款。
使用方式与接入
- 免费起步,无需信用卡即可开始追踪。
- 提供 SDK,官方用户反馈提到“使用这个新 SDK,在出问题时给我们发寻呼”。
- 支持 Slack 通知与 MCP 以及 Query SDK,可在 Slack、Web 或通过 MCP 进行调查与自动化跟进。
- 支持在 CI 中模拟变更,并将结果展示在 pull request 上。
- 支持通过 feature flag 先行验证改进,再逐步放开。
- 支持仪表化本地 Agent 工作,官方用户反馈提到可用于 Claude Code 会话以改进 skills,也可用于语音 Agent。
适用场景
- 生产环境中查找静默失败、定位出错环节并进行调查。
- 多 Agent、并行工作流下的轨迹查看与梳理。
- 以行为为维度的监控与告警,如错误、用户反馈模式(例如频繁重新生成、点踩激增等自定义失败条件)。
- 面向真实流量验证变更效果,在合并前捕获回归。
- 需要按用户群体做洞察,例如官方反馈提到用 Deep Search 为中国用户群体建立“用户说中文”的分类器,Raindrop 会进行翻译。
定价与套餐(来自官方页面)
- Hobby:免费,含每月 1,000 events;包含 tracing 与搜索、Slack 通知、MCP 与 Query SDK、14 天数据保留、1 个自定义信号、每月 15 条 Agent 消息。官方说明:一个 event 指一条用户消息与 Agent 响应,包含工具调用与子 Agent,或一次后台 Agent 运行。
- Pro:在 Hobby 基础上增加实时问题检测、用于调查失败的分诊 Agent、Edge-PII 脱敏(附加项)、实验与语义搜索;每月 500 条 Agent 消息、10 个自定义信号、无限数据保留;超出部分为每 event 0.003 美元(至 100 万),之后每 event 0.002 美元。
- Enterprise:在 Pro 基础上增加 SSO / SAML 与审计日志、优先支持与 SLA 保障、Snowflake / BigQuery 导出、无限 Agent 消息、无限自定义信号;价格按团队定制。需要自定义部署可联系官方。
安全与合规 官方称“Security trusted by the Fortune 100”,并给出:SOC 2 Type II 合规,每年由独立第三方审计,完整报告可在其 Trust Center 获取;提供智能的服务端 PII 脱敏以保护敏感用户数据;企业级能力包括 SSO、审计日志、访问控制、采购支持与专属实施协助;Self-Hosting Beta 支持在自有云环境中运行 Raindrop。
限制与暂未提供的信息
- 除上述套餐价格与计费单位外,其他地区定价、税费、退款政策等暂未提供。
- 具体模型的上下文长度、延迟指标、支持的语言清单等性能参数暂未提供。
- 第三方集成的完整清单、SDK 支持的语言与版本要求暂未提供。
- 官方页面提及与 Codex 订阅、Codex 桌面应用内浏览器配合使用的用户反馈,但未给出正式支持矩阵,具体兼容性以官方文档为准。
整体上,Raindrop 将“发现静默失败 — 归并问题模式 — 追溯根因 — 上线前模拟验证 — 自动修复”串成闭环,并通过可自定义的信号与分类器适配不同团队关注的 Agent 行为。