用途:为 AI 智能体、RAG 系统、助手和工具调用工作流做提示注入(含直接、间接、存储型、跨智能体和多模态)的威胁建模与加固。核心立场是:为“模型推理可能被攻破”而设计,提示文本和分类器只能降低攻击成功率,不构成可靠安全边界;有后果的权限、授权、校验和策略执行必须留在模型之外。
主要能力:产出数据流与信任边界图(覆盖受保护资产、所有模态、输出汇聚点、记忆存储、智能体跳转、允许目的地和凭据边界);产出威胁模型,列出受保护资产、攻击者可控信道、注入路径和安全不变式;产出按优先级排序的防御计划,把每条路径映射到预防、限制、检测和恢复控制,并标记缺失/计划/已实现/已验证;在授权范围内做代码或配置修改;给出安全的回归测试套件与验证证据、观察到的失败和指标,而非笼统声称“已防住”;给出残余风险、运营监控和事件处置恢复计划。
使用方式:用 JSON 边界清单描述架构,并用 scripts/audit_boundary_manifest.py 做结构检查(结构检查通过不等于控制有效)。防御模式参考 references/defense-patterns.md。流程为:映射指令/数据/权限/汇聚点;定义可被确定性组件强制执行的不变式;削减暴露权限(删除无用工具、拆分读写与预览提交、按租户/对象/动作/字段/时间限定身份、机密不进模型上下文、加出网与数据外泄允许清单、沙箱化代码与解析器,关键工具有确认模式);将控制与不可信内容分离(把不可信内容当作带来源的引用数据,用结构化类型化消息传递而非拼接);在每个转换点校验(工具参数用窄模式加策略校验、敏感目标标识符取自可信状态、执行时重新授权、模型输出按目的地编码,多智能体逐跳重算权限);用安全的对抗用例测试(隔离环境、合成账号、良性金丝雀机密、惰性目的地),覆盖直接覆盖指令、嵌入检索页/邮件/文档/工具结果/元数据/记忆的间接指令、混淆编码与跨轮拆分、跨智能体委托、多模态隐藏内容、工具参数篡改与未授权外泄,同时测量良性内容误报率与正常任务完成度;运营与恢复:记录来源、策略决策、拒绝与异常序列,对金丝雀访问、反复策略失败、新工具暴露、跨租户尝试和异常外泄告警;疑似事件时隔离工作流、禁用高风险工具与出网、吊销轮换凭据、隔离恶意来源、保留脱敏证据、定位被污染的持久记忆与下游影响、恢复干净状态并在重新开放前重跑回归测试。
适用场景:邮件分诊智能体(正文、附件、引用线程视为不可信数据,模型只分类和草拟,邮箱与租户取自认证状态,草拟与发送分离,限制收件域,对外发送需逐条确认);带网页访问的研究智能体(浏览不接触内部机密,允许清单限定目的地,剥离活动内容,保留页面来源,页面文本不得扩展工具或改变研究目标)。
限制与边界:不得在未获明确针对目标授权的情况下对生产、第三方或用户系统测试载荷;不得触发真实交易、消息、删除、权限变更、恶意软件或数据外泄;不得把真实机密、个人数据、特权系统提示或有效令牌放进测试语料或日志;不得声称提示注入已被消除;不得静默删除可能被污染的记忆、记录或证据,应先隔离并遵循所有者保留与事件策略;范围不确定、金丝雀到达意外系统、出现真实敏感数据或意外外部影响时应停止测试并上报。控制若造成不可接受的任务失败,应单独回滚该控制并保持高风险工具禁用,不得为提升成功率而恢复宽泛权限。模型、提示、解析器、检索、工具、权限或编排变更后需重跑测试。