SuperAPI AI 工具集

prompt-injection-testing

智能体与模型

查看项目

更新于 10-16 03:43

技能介绍

用途:对 LLM 开展提示注入与越狱测试,评估其安全边界,对应 OWASP LLM01(提示注入)与 MITRE ATLAS AML.T0051,严重性标注为 CRITICAL,绑定 02-prompt-injection-specialist 代理。

主要能力:提供五阶段测试协议——基线(正常输入、拒答模式、延迟基线、安全触发词)、简单注入(指令覆盖、角色冒充、权限声明)、高级注入(Base64/ROT13/leet/同形字/十六进制编码、多轮碎片化、上下文混淆、组合向量)、系统提示词提取(LLM07,反射、补全操纵、格式混淆、泄露记录)、文档化(成功绕过记录、绕过成功率、严重性评级、缓解建议)。攻击类别库含权限越狱、假设性越狱、编码越狱、碎片化越狱、上下文混淆、角色型越狱,每类附示例载荷、有效性与检测难度;载荷框架为上下文设定+权限声明+目标+格式。

使用方式:按阶段执行清单式测试,用结果模板记录 payload、response_type(BLOCKED/BYPASSED/PARTIAL)、evidence 与 notes;可用文中的 pytest 模板编写单元测试,例如运行 pytest 执行提示注入测试套件,断言响应中不含 “BYPASSED”、不泄露系统提示词。含排障指南(全部被拦、结果不一致、触发限流、无法判定)。

适用场景:LLM 安全评估、红队测试、上线前注入防护验证,并与漏洞发现、防御实现等环节对接。

限制:本技能聚焦测试方法,未提供具体 API、密钥与安装步骤;测试需授权,结果受模型非确定性影响,应多次运行报告概率;对强防御模型部分载荷可能失效。