SuperAPI AI 工具集

agentic_security

Agentic Security 是一个开源的大语言模型(LLM)与智能体工作流漏洞扫描器,也可作为 AI 红队测试工具包使用。它旨在保护 AI 系统免受越狱、模糊测试和多模态攻击等威胁。主要能力包括:多模态攻击探测(覆盖文本、图像和音频输入)、多步越狱模拟、综合模糊测试、API 集成与压力测试,以及基于强化学习的自适应攻击探测。用户可通过 pip 安装该包,并使用纯文本 HTTP 规范进行配置,其中 <<PROMPT>> 会在扫描时被替换为实际攻击向量。它还支持添加 LLM 集成模板、自定义数据集(放置含 prompt 列的 CSV 文件)、扩展数据集集合、动态数据集与变异,以及 CI/CD 集成(提供示例 GitHub Action 工作流)。该项目采用 Apache License v2 发布,并声明与加密货币、区块链项目无任何关联。

访问官网

工具介绍

用途

Agentic Security 是一个面向智能体工作流和大语言模型(LLM)的开源漏洞扫描器,同时也可作为 AI 红队测试工具包。其目标是保护 AI 系统免受越狱、模糊测试和多模态攻击等威胁,帮助开发者、研究人员和安全团队主动识别并缓解 AI 系统中的风险,从而确保更安全、更可靠的部署。

主要能力

  • 多模态攻击:跨文本、图像和音频输入探测漏洞,确保 LLM 能够抵御多样化威胁。
  • 多步越狱:模拟复杂的迭代攻击序列,以发现 LLM 安全机制中的弱点。
  • 综合模糊测试:使用随机输入对任意 LLM 进行压力测试,以识别边缘情况和意外行为。
  • API 集成与压力测试:无缝连接 LLM API,并通过高容量、真实世界的攻击场景将其推向极限。
  • 基于强化学习的攻击:利用强化学习构建自适应、智能的探测,随模型防御的演进而进化。

使用方式

通过 pip 安装该包即可开始使用 Agentic Security。

Agentic Security 使用纯文本 HTTP 规范,例如:

<<PROMPT>>

其中 <<PROMPT>> 会在扫描期间被替换为实际攻击向量。插入 Bearer XXXXX 头部值以填入你的应用凭据。

添加 LLM 集成模板

支持添加 LLM 集成模板。

添加自有数据集

要添加自己的数据集,可以放置一个或多个包含 prompt 列的 CSV 文件,这些数据将在 agentic_security 启动时加载。

作为 CI 检查运行

提供默认配置示例,可作为 CI 检查运行。

扩展数据集集合

向 agentic_security.probe_data.REGISTRY 添加新元数据,并在其中实现加载器。

动态数据集与变异

当前示例之一使用对现有预加载提示数据进行采样并应用变异,从而生成新的数据集。

在自定义集成示例中,使用 /v1/self-probe 进行集成测试。该端点会随机模拟一个假 LLM 的拒绝响应。

要探测图像模态,可使用以下 HTTP 请求:

将 XXXXX 替换为你的实际 API 密钥,<<BASE64_IMAGE>> 为图像变量。

要探测音频模态,可使用以下 HTTP 请求:

将 $GROQ_API_KEY 替换为你的实际 API 密钥,并确保 file 参数指向正确的音频文件路径。

CI/CD 集成

提供的示例 GitHub Action 旨在执行自动化安全扫描。示例 GitHub Action 工作流可确保以持续集成的方式维护项目安全。

Module 类用于管理提示处理以及与外部 AI 模型和工具的交互。它支持异步获取、处理和发布提示,以检测模型漏洞。详见 module.md。

有关如何使用 Agentic Security(包括高级功能和自定义选项)的更多详细信息,请参阅官方文档。

适用场景

  • 开发者、研究人员和安全团队对 LLM 及智能体工作流进行安全评估。
  • 在 CI/CD 流程中集成自动化安全扫描。
  • 通过自定义数据集和集成模板,针对特定应用场景进行定制化红队测试。

限制与说明

  • 路线图与未来目标中的日期均为暂定,可能根据项目进展和优先级调整。
  • 项目欢迎贡献,贡献前请阅读贡献指南。
  • Agentic Security 采用 Apache License v2 发布。
  • 项目声明与加密货币、区块链技术或相关计划无任何关联:没有代币,没有代币,只有代码。