SuperAPI AI 工具集

detecting-indirect-prompt-injection

智能体与模型

查看项目

更新于 10-16 01:30

技能介绍

用途:检测并防御间接提示注入(MITRE ATLAS AML.T0051.001、OWASP LLM01:2025)。当 LLM 智能体读取网页、PDF、邮件、图片 OCR 或工具结果时,外部内容中隐藏的指令可能被模型当作开发者或用户指令执行,导致对话历史外泄、工具调用被重定向、密钥泄露或横向移动。该技能构建在内容进入模型前的检测管线。

主要能力:从网页提取 HTML 注释、display:none/visibility:hidden 元素、alt 文本;从 PDF 提取文本;对图片做 OCR 与元数据读取。归一化阶段去除零宽字符与 Unicode 标签字符、做 NFKC 规范化、解码 Base64 与 ROT13。检测阶段结合 LLM Guard 的 PromptInjection 扫描器与专用检测模型(Meta Prompt Guard 2 或 ProtectAI deberta-v3 分类器)作为第二信号,并输出 block/sanitize/allow 决策与结构化遥测(含 SHA256、ATLAS 映射)。

使用方式:需 Python 3.10+ 与虚拟环境,安装 llm-guard、transformers、torch、beautifulsoup4、pypdf、pillow、pytesseract,并安装 Tesseract OCR 引擎(Debian/Ubuntu:sudo apt-get install -y tesseract-ocr;macOS:brew install tesseract;Windows:choco install tesseract)。访问 meta-llama/Llama-Prompt-Guard-2-86M 需授权,或使用开放的 protectai/deberta-v3-base-prompt-injection-v2。流程为提取隐藏文本、归一化去混淆、LLM Guard 扫描、专用模型二次判定、图片 OCR 扫描、决策与遥测、在标注语料上验证并调优阈值。

适用场景:构建或加固浏览网页、读邮件、总结文档、处理上传文件的智能体;在 LLM 前设置内容净化闸门;AI 红蓝队演练;调查智能体异常行为;知识库文档入库前的 CI/CD 扫描。

限制:仅限授权数据使用,提取出的载荷应视为不可信输入,不得回填到特权 LLM 上下文。阈值需按语料调优以平衡误报与漏报,模型或数据源变化后需重新测试。具体效果、收费与平台支持暂未提供。