SuperAPI AI 工具集

detecting-ai-model-prompt-injection-attacks

智能体与模型

查看项目

更新于 10-16 01:30

技能介绍

用途:在用户输入送入 LLM 前进行扫描,为聊天机器人、AI 智能体或 RAG 管道构建输入校验层;也可监控 LLM 交互日志以回溯识别注入尝试,或在安全事件调查中分类注入载荷。

主要能力:三层检测。正则层匹配 25+ 已知攻击模式(系统提示覆盖、角色扮演逃逸、分隔符注入、编码混淆等);启发式层根据指令密度、特殊字符比例、语言混用、过度大写等结构特征给出 0.0-1.0 异常分;分类器层使用 protectai/deberta-v3-base-prompt-injection-v2 返回概率,默认阈值 0.85。最终判定按权重合并(正则 0.3、启发式 0.2、分类器 0.5)。

使用方式:需 Python 3.10+、pip、transformers 与 torch,首次运行会从 Hugging Face 下载约 700 MB 模型。安装命令:pip install transformers torch sentencepiece protobuf;纯 CPU 环境可用 pip install transformers torch --index-url https://download.pytorch.org/whl/cpu。运行示例:python agent.py --input "...";python agent.py --file prompts.txt --mode full;--mode 可选 regex、heuristic、full;--threshold 调整阈值;--output json 输出 JSON。也可在代码中导入 PromptInjectionDetector 作为预处理过滤器。

适用场景:输入校验、日志批量审计、红队测试评估现有防御效果。

限制:不可作为唯一防御,需结合输出校验、权限分离与最小权限工具访问;不适用于不涉及对抗指令注入的越狱检测。资料未提供其他平台、收费或效果数据。