Giskard 是一个持续 AI 红队测试平台,旨在保护 AI 智能体安全。它帮助用户在生产环境之前发现导致 AI 智能体失效的漏洞,检测安全风险,提升 LLM 安全性,并保护 AI 系统。AI 智能体容易受到安全攻击,可能给数据和声誉带来风险;但过度安全的智能体又可能给用户提供质量不佳的回复。Giskard 的目标是在两者之间找到平衡。
【主要能力】
- 持续 AI 红队测试:持续检测漏洞,改善 LLM 安全,保护 AI 系统。
- 漏洞检测方法:利用内部知识(如 RAG 知识库)识别幻觉;基于安全漏洞分类法检测刻板印象、歧视、有害内容、个人信息泄露、提示注入等问题;使用外部资源(网络安全监控和在线数据)持续识别新漏洞;应用内部提示模板(基于与各类客户的经验)。
- 报告与修复:每次评估后提供结构化报告,给出明确结论——部署或修复;安全漏洞按严重性排序,功能场景根据需求测试,通过则授予 Giskard Label。从发现到修复,Giskard 负责整个修复管理:对每个发现进行定性、与团队讨论严重性、确定优先级、在工作流中创建工单,并重新运行每个测试直到修复确认。
【使用方式】
- 部署前使用:提供全面的量化 KPI,确保 AI 智能体达到生产就绪。
- 部署后使用:持续检测 AI 应用投入生产后可能出现的新漏洞。
- 支持类型:Giskard Hub 专门支持文本到文本模式的对话式 AI 智能体。Giskard 作为黑盒测试工具运行,Hub 无需了解 LLM 智能体的内部组件(基础模型、向量数据库等)。整个机器人只需通过 API 端点访问。
- 核心优势:自动化漏洞检测(不仅测试 AI,还自动检测幻觉和安全缺陷等关键漏洞);主动监控(在用户发现问题之前检测 AI 漏洞,持续生成不同攻击场景和潜在幻觉);面向业务相关者(不仅是开发者工具,也面向领域专家和产品经理,提供协作红队演练场和标注工具)。
【适用场景】
- 需要评估和保障对话式 AI 智能体安全的企业安全团队、产品团队和领域专家。
- 对 AI 智能体进行幻觉检测、事实性检查和鲁棒性测试。
- 监督 AI 助手行为,防止 AI 向客户提供不当指导。
- 需要持续测试 LLM 智能体、并在部署前后都保持安全监控的场景。
- 需要从发现到修复全流程管理 AI 漏洞的组织。
【限制与说明】
- Giskard Hub 支持文本到文本模式的对话式 AI 智能体,其他类型未提供。
- 数据驻留与隔离:可选择数据在 EU 或 US 处理,享受自动更新与维护,同时保护数据。
- 细粒度访问与 IP 控制:支持基于角色的访问控制(RBAC)、审计跟踪,并可与身份提供商集成;通过 0 训练政策保护知识产权。
- 合规与安全:静态和传输中端到端加密;作为欧洲实体,提供原生 GDPR 合规,以及 SOC 2 Type II 和 HIPAA 合规。
- 本地部署:对于公共部门、国防或其他敏感应用的关键任务工作负载,工程团队可帮助在本地环境安装 Giskard Hub。
- 定价:具体价格信息暂未提供,请参考官方链接。
- Giskard Hub(企业版)与 Giskard Open-Source(个人版)的功能对比,请参考官方文档。
- 与 LangSmith 等 LLM 平台的区别:Giskard 不仅测试 AI,还自动检测关键漏洞,利用内外部数据源自动生成测试用例,强调主动监控,并面向业务相关者设计。
- 修复支持:订阅 Giskard Hub 后,可选择 AI 安全团队的技术咨询支持,帮助缓解漏洞并设计生产环境中的有效护栏。