用途:对 LLM 集成应用开展安全评估,参照 OWASP Top 10 for LLM Applications 2025,适用于审查 LLM 应用、RAG 管线、聊天机器人等场景。具体流程见 plays/llm-risk-assess.md。
主要能力:
- 架构与威胁建模:梳理 LLM 提供方(OpenAI、Anthropic、本地模型),记录数据流(用户输入→预处理→提示构建→LLM→输出处理→动作),识别 RAG 组件、工具集成与记忆系统,定义信任边界与攻击面。
- 自动化安全测试:运行提示注入探测(Garak、Giskard、自定义脚本),测试输出处理漏洞,扫描提示与配置中的密钥,校验向量数据库安全。
- 覆盖全部 10 项 OWASP LLM 2025 风险:LLM01 提示注入、LLM02 敏感信息泄露、LLM03 供应链、LLM04 数据与模型投毒、LLM05 输出处理不当、LLM06 过度自主权、LLM07 系统提示泄露、LLM08 向量与嵌入弱点、LLM09 错误信息、LLM10 无界消耗。
- 红队测试:尝试真实攻击场景,测试防御绕过与规避技术,验证护栏与安全控制。
输出:包含信任边界的架构图、覆盖 10 类的风险矩阵(严重度/状态)、带概念验证示例的详细发现、红队测试结果与绕过技术、含代码示例的整改路线图、防御验证清单。
参考:OWASP Top 10 for LLM Applications 2025、OWASP AI Exchange(owaspai.org)、OWASP AI Testing Guide、OWASP Cheat Sheet: Prompt Injection Prevention、OWASP Prompt Injection Taxonomy(Arcanum)。
限制:资料未提供具体安装命令、收费方式、支持平台与运行环境要求,暂未提供。