用途:用于审查或构建基于 LLM 的系统(聊天产品、RAG 应用、自主智能体、MCP 服务器)时的防御性参考。前提是不可信输入威胁模型:模型读取的任何文本(用户输入、检索文档、工具结果、文件内容)都可能携带对抗性指令,模型输出的任何文本都可能被下游执行。
主要能力:
- 信任边界梳理:列出用户提示、RAG 检索文档、工具/函数结果、系统提示、模型输出、训练数据等通道的入口风险与主要防御。
- OWASP LLM Top 10(2025 版)防御映射:逐项给出风险、防御性检查与加固控制,如 LLM01 提示注入、LLM02 敏感信息泄露、LLM05 输出处理不当、LLM06 过度代理、LLM10 无界消耗等。
- 提示注入防御:直接注入采用指令层级、输入筛查、权限分离、输出门控;间接注入采用来源标记、内容隔离、检索白名单、工具调用后重新校验。
- MCP/智能体工具调用加固:最小权限工具集、按工具限定凭据、高风险操作人工确认、可调用目标白名单、幂等与试运行、工具结果模式校验、限制工具调用循环并记录审计日志。
- 训练数据与模型投毒检测:数据血缘、金丝雀样本、来源签名验证、分布监控、来源白名单。
- 模型输出校验与护栏:结构化输出、内容过滤、上下文感知编码、禁止自动执行、要求引用来源;输入与输出两侧都需护栏。
- 防御性对照:MITRE ATLAS 技术编号(如 AML.T0051、AML.T0020、AML.T0054、AML.T0057)与 NIST AI RMF 的 GOVERN/MAP/MEASURE/MANAGE 治理映射。
使用方式:作为审查清单与设计参考,按严重级别(P0 阻断发布、P1 合并前修复、P2 迭代内修复、P3 待办跟踪)评估;文末提供验证清单,逐项确认通道分类、指令层级、RAG 隔离、输出校验、工具最小权限、工具结果再校验、OWASP 映射与 NIST 治理、系统提示无密钥。
适用场景:LLM 应用安全评审、RAG 与智能体系统加固、MCP 服务器权限设计、训练数据供应链核查。
限制:资料为防御性参考,不提供攻击方法;具体实现代码、安装命令、收费与平台信息暂未提供。跨域 Web 应用漏洞见 moai-ref-owasp-checklist,API 设计见 moai-ref-api-patterns,供应链见 moai-ref-supply-chain。