SuperAPI AI 工具集

prompt-injection-defense

智能体与模型

查看项目

更新于 10-15 19:50

技能介绍

用途:帮助开发者防御 LLM 智能体遭受提示注入,尤其是间接注入——藏在网页、邮件、PDF 或工具返回结果中的指令,会与可信指令一同进入模型并被静默执行。适用于构建读取用户文档、网页内容或工具结果的智能体,多租户智能体,以及 RAG、网页浏览、邮件处理类智能体。

主要能力:先建立威胁模型,区分直接注入、间接注入(RAG/网页/邮件)、工具结果注入、跨用户注入、计划注入,不同威胁对应不同防御。防御手段包括:在提示中用分隔符标记信任边界并声明“视为数据而非指令”;对模型提出的每个动作在执行前做策略授权;对工具及其参数做白名单;双模型隔离(读取不可信文本的读取模型只返回结构化数据,决策模型据此行动);按来源做能力门控(网页内容不能触发破坏性工具);不可逆操作引入人工确认;对不可信输入做输出过滤。

使用方式:按决策流程判断——智能体是否读取非自身生成、非开发者编写的文本;被注入后最坏能做什么;能否标记信任边界;能否在模型决策后授权工具调用;能否隔离读取与决策模型。资料还提供 references/threat-model.md、references/defenses.md、references/test-suite.md 三份参考文件,以及上线前可运行的红队提示集。

限制:不存在通用防御,只有针对具体威胁的防御。仅靠“告诉模型忽略注入”、输出分类器、正则匹配、系统提示保密、依赖模型自检均不可单独奏效。若恶意指令能引发不可逆动作,提示层防御不足,必须修复授权层。具体安装命令与代码示例暂未提供。