用途:依据 OWASP Top 10 for LLM Applications(2025 版)对 LLM 应用做安全审查。当新增或修改 LLM API 集成代码(OpenAI、Anthropic、Google Gemini、Azure OpenAI、Cohere、Mistral、本地模型端点)、审查 RAG 流程(嵌入生成、向量库查询、上下文组装、文档摄取)、构建聊天机器人(系统提示、会话管理、工具/函数调用)、AI 功能 PR 引入提示模板或输出渲染、基础设施涉及模型服务(vLLM、TGI、Ollama)、微调、训练数据或嵌入数据库(Pinecone、Weaviate、Chroma、pgvector),以及含 LLM 组件的安全架构评审或威胁建模时触发。无 LLM 或生成式 AI 组件的传统 Web 应用审查不应使用。
审查前需收集:LLM 提供商与模型标识、系统提示与提示模板、输入流、输出流、工具/函数调用配置及权限与确认门、RAG 架构(摄取、分块、嵌入模型、向量库、检索查询、上下文组装)、认证授权上下文、速率限制与配额、数据分级、部署拓扑。
主要能力:逐项对照十大风险检查代码与架构并给出缓解建议。LLM01 提示注入:检查字符串拼接、f-string 插值、RAG 无边界标记注入、仅靠提示文本作安全边界、工具调用缺乏独立校验;缓解包括角色分离、输入校验、分隔符、确定性二次校验、最小权限、提示防火墙。LLM02 敏感信息泄露:检查系统提示硬编码密钥、RAG 未按用户权限过滤、日志记录完整提示/响应、缺少输出过滤、微调数据含 PII;缓解包括不嵌入密钥、文档级访问控制、输出 PII 过滤(如 Presidio)、数据清洗、最小化日志。LLM03 供应链:检查未校验模型完整性、pickle 反序列化、过时框架库、未审查第三方插件、训练数据来源不明;缓解包括锁定版本与漏洞扫描、使用 safetensors、校验和/签名、插件白名单、数据来源审计、SBOM。LLM04 数据与模型投毒:检查微调数据来源、RAG 摄取端点权限、缺少内容审核、反馈回路、嵌入库写权限;缓解包括摄取访问控制与审计、数据校验与来源追踪、异常检测、人工审核、检索只读、知识库版本控制。LLM05 输出处理不当:检查原始 HTML 渲染、输出进入 SQL/Shell/代码执行、eval/exec、Markdown 未净化、构造 URL/路径;缓解包括按不可信输入处理、上下文编码、禁止动态执行、DOMPurify、输出格式白名单、CSP。LLM06 过度代理:检查工具写权限、自主链式调用、宽泛权限、缺少人工确认、使用服务账号;缓解包括最小权限、强制人工确认、限制工具调用次数、使用终端用户权限。
限制:资料仅完整展开至 LLM06,LLM07 至 LLM10 的具体内容暂未提供;未提供安装命令、价格或平台信息。