用途:针对集成 AI/LLM 的应用开展安全测试,覆盖提示注入、越狱、数据外泄和不安全输出处理等新型攻击面,并按 OWASP LLM Top 10(2025)对发现进行分类与给出修复建议。
主要能力:覆盖 LLM01 提示注入(直接与间接)、LLM02 敏感信息泄露、LLM03 供应链、LLM04 数据与模型投毒、LLM05 输出处理不当(经 LLM 输出触发 XSS/SQLi)、LLM06 过度代理(未授权工具调用)、LLM07 系统提示泄露、LLM08 向量与嵌入弱点(RAG 投毒)、LLM09 错误信息、LLM10 无界消耗。
核心流程:发现所有 LLM 集成点(聊天界面、内容生成、RAG 管道、AI 搜索、代码补全、摘要);执行直接提示注入(覆盖系统提示、提取系统提示内容、注入改变模型行为的指令);执行间接提示注入(在 LLM 处理的文档、邮件、网页中嵌入恶意指令,污染 RAG 上下文);数据外泄(提取训练数据、上下文窗口中的 PII、其他用户会话历史、系统配置);不安全输出处理(LLM 输出被渲染为 HTML、用于 SQL 查询或系统命令);过度代理(有工具访问权限的 LLM 执行未授权操作、通过工具链提权、资源滥用);最后按 OWASP LLM Top 10(2025)记录发现并给出修复指导。
前置条件:需书面授权且明确包含 AI/LLM 测试范围;需模型访问信息(API 端点、模型版本、工具/函数访问);需数据敏感度分级;需注意速率限制,LLM API 成本可能快速上升。
环境与工具:Garak 用于自动化 LLM 漏洞扫描,Burp Suite 用于拦截 LLM 请求/响应,Python 脚本用于自定义提示注入载荷,本地代理用于捕获完整请求/响应链;另有 rebuff、mitmproxy、浏览器 DevTools 等。参考文件包括 references/tools.md(工具函数签名与参数)和 references/workflows.md(攻击模式定义与测试向量)。
限制:资料未提供具体安装命令、价格、平台支持范围或效果数据,暂未提供。