BotGauge 是一款专注于 AI 智能体的测试、评估、监控与治理平台。它的核心目标是帮助团队在智能体从开发到生产的全生命周期中，进行红队测试、评估、监控和治理，从而在智能体失败行为触达用户之前将其发现并修复。
用途 BotGauge 主要用于 AI 智能体的质量保障与安全治理。它通过自适应红队测试和真实场景模拟，探索智能体可能走上的意外路径，发现未预料到的行为。当模型、提示词、工具或上下文发生变化时，智能体的执行路径可能完全不同，BotGauge 能够探索这些路径，提前暴露风险。
主要能力
- 自适应测试：运行探索输入、上下文、工具、策略和多轮交互的测试。可以从基线开始，当行为变得有趣时深入探索，并针对关心的场景定义自定义策略。
- 对抗性场景：使用对抗性输入和真实世界场景来测试智能体，例如检测策略违规（如智能体试图更改目的地并跳过审批），并将攻击加入评估套件，使其在未来的每次测试中运行。
- 行为追踪：检查每次结果背后的提示词、响应、工具调用、上下文和执行路径，理解发现背后的行为。
- 评估与度量：将红队测试中发现的行为纳入评估集，对目标完成度、准确性、策略遵循度以及智能体特定标准进行评分。支持基于代码的检查和自定义标准。
- 策略与护栏：将重要的标准带入评估、监控和安全防护中。
- 持续监控：从智能体行为到持续监控，提供持续可见性。
- 统一平台：一个平台即可评估、追踪和监控任何类型的智能体，无论其类型、技术栈或复杂度如何。
使用方式 BotGauge 设计为框架无关，可以连接团队已有的工具、模型和框架，无需改变应用程序的工作方式。具体来说：
- 你的模型：无需更改。
- 你的框架：无需重写。
- 你的智能体：保持相同架构。
- 你的工具：保持相同工作流。 可以连接智能体并开始测试，兼容团队已有的接口。
适用场景 BotGauge 适用于运行智能体的团队，支持的智能体类型包括：
- 客服智能体：基于知识和流程的答案，多轮对话，包含真实客户上下文。
- 实时对话智能体：具备策略感知能力的实时对话与操作。
- 多智能体系统：跨智能体和工具的协调工作流。
- 事务型智能体：退款、审批、转账和真实系统操作。
限制与安全 BotGauge 默认安全，为将智能体投入生产的团队而构建。其安全实践经过独立审计并持续验证。支持自带身份提供商，提供无缝登录体验；支持细粒度访问控制，可精确定义谁可以访问每个项目和资源。具体收费、价格、平台支持等细节暂未提供。
