SuperAPI AI 工具集

prompt-injection-test

安全与审计

查看项目

更新于 10-16 03:14

技能介绍

用途:系统性测试 LLM 应用的提示注入防御能力,按 plays/prompt-injection-testing.md 中的完整流程执行。分类法源自 Jason Haddix(Arcanum Information Security)的 Arcanum PI Taxonomy,采用 CC BY 4.0 许可。

主要能力与流程:

  1. 范围与输入面梳理:找出攻击者可控内容进入 LLM 的所有路径,包括直接(对话、API 参数)与间接(文件上传、网页抓取、RAG 文档、工具输出、MCP 资源)输入面。
  2. 按攻击意图测试(13 种):INT-01 系统提示泄露、INT-02 越狱、INT-03 工具枚举、INT-04 API 枚举、INT-05 获取提示秘密、INT-06 攻击用户、INT-07 数据投毒、INT-08 拒绝服务、INT-09 讨论有害内容、INT-10 多链攻击、INT-11 生成图像、INT-12 测试偏见、INT-13 业务完整性。
  3. 按攻击技术测试(18 种):框架化、叙事走私、认知过载、元提示、俄罗斯套娃、记忆利用、充当解释器、矛盾、结束序列、反转、规则追加、变量展开、链接注入、谜题化、反伤害胁迫、ASCII/空间、二进制流、空间字节数组。
  4. 规避层(20 种):技术被拦截后改用混淆重试,包括编码(base64、hex、摩尔斯、密码、反转)、语言(替代语言、虚构语言、音替换、emoji)、结构(JSON/XML 包装、markdown、元字符混淆、空白、splats)、进阶(隐写、链接走私、图节点、波形、大小写变换)。
  5. 执行测试矩阵:意图 × 技术 × 规避组合,优先高影响意图、其次间接输入面、再对已拦截直接尝试的防御做规避扫描。
  6. 结果评估:对每次成功注入记录严重性、攻击路径(意图+技术+规避+输入面)、具体载荷、检测缺口与修复建议。
  7. 防御验证:核对 5 层防御清单——生态加固、模型护栏、提示层防御、数据层控制、应用层校验。

输出:测试结果汇总表(意图/技术/规避/输入面/结果/严重性)、使用 templates/finding.md 的详细发现、标注缺口的防御覆盖清单,以及按优先级排序的建议。

限制:资料未提供具体安装命令、运行环境、参数或自动化工具细节;测试应在获得授权的前提下进行。官方参考包括 OWASP LLM01 提示注入、LLM05 不当输出处理、LLM06 过度代理、LLM07 系统提示泄露。