SuperAPI AI 工具集

testing-prompt-injection-in-rag-pipelines

智能体与模型

查看项目

更新于 10-16 09:33

技能介绍

用途:该技能面向 RAG 系统的安全测试,探测检索层注入面。任何被检索器返回并拼入模型上下文的文本都被模型视为权威内容,攻击者可通过投毒 PDF、恶意 wiki 编辑、伪造工单或邮件在被检索到时注入指令,属于间接提示注入,对应 MITRE ATLAS AML.T0051 与 OWASP LLM01:2025。除文本层外,还可在嵌入层构造靠近高价值查询的文本,实现检索投毒。

主要能力:枚举检索面与不可信内容入口;用 NVIDIA garak 的 promptinject、latentinjection、leakreplay 探针运行注入与泄漏探测;用 Promptfoo 的 indirect-prompt-injection 与 rag-document-exfiltration 插件编写红队配置;用 Microsoft PyRIT 编排多轮注入;用 sentence-transformers 与 FAISS 做嵌入投毒概念验证;收集证据并映射到 OWASP LLM01 与 ATLAS AML.T0051,输出缓解建议(上下文隔离、指令与数据分离、输出过滤、检索溯源、语料白名单)。

使用方式:需 Python 3.10-3.13 虚拟环境、目标 RAG 应用网络访问与书面授权。安装:python -m pip install -U garak;pip install pyrit;npm install -g promptfoo(或 npx promptfoo@latest)。嵌入实验另装 pip install sentence-transformers faiss-cpu numpy。先用 curl 抓取基线请求,再运行 garak 探针、promptfoo redteam init/run/report,并用 PyRIT 脚本对 OpenAI 兼容端点发起多轮攻击,最后用 embed_poison_poc.py 验证余弦相似度(通常大于 0.6 表示该块会被检索)。

适用场景:RAG 聊天机器人、内部知识助手、文档问答产品的发布前后测试;验证检索护栏是否真正阻断注入指令;CI/CD 回归门禁。

限制:仅限自有或获书面授权的系统,须先在非生产环境测试并遵守 RoE;对抗输入可能造成真实危害。资料未提供具体收费、价格与效果保证,具体工具版本行为需以实际安装版本为准。