AI Threat Testing 是一个进攻性 AI 安全测试与利用框架，用于对 LLM 应用进行系统化的 OWASP LLM Top 10 漏洞测试。它通过 10 个专用智能体执行测试，适用于获得授权的 AI 安全评估。
用途 该框架面向 LLM 应用的安全评估，覆盖 OWASP LLM Top 10（2025 版）所列漏洞类别，并支持供应链审计与聚焦测试。它可与 /pentest 技能集成，将传统渗透测试与 AI 特定测试结合，形成更完整的安全评估，并支持跨传统与 AI 向量串联漏洞、统一报告与 CVSS 评分。
主要能力 覆盖的 OWASP LLM Top 10（2025 版）类别包括：
- LLM01:2025 提示注入：直接与间接注入、指令覆盖、过滤器规避。
- LLM02:2025 敏感信息泄露：训练数据与跨租户 RAG 泄露、金丝雀验证。
- LLM03:2025 供应链：依赖 CVE、模型来源、恶意序列化模型。
- LLM04:2025 数据与模型投毒：后门触发器、成员推断、行为异常。
- LLM05:2025 输出处理不当：下游代码/XSS 注入、不安全反序列化。
- LLM06:2025 过度代理：工具/插件滥用、权限提升、未授权操作，该类别对智能体而非聊天机器人尤为关键。
- LLM07:2025 系统提示泄露：资料注明暂无 playbook，属于缺口；提示内容本身与能否被提取是两项独立发现。
- LLM08:2025 向量与嵌入弱点：RAG 注入、检索操纵、嵌入反演。
- LLM09:2025 错误信息：在依赖输出的场景下测试幻觉与置信度操纵。
- LLM10:2025 无界消耗：令牌洪泛、成本影响、模型提取/窃取（2025 版将按查询提取视为消耗问题）。
此外还有两类可测试但不属于 OWASP 类别的本地 TX- 编号项：监控规避/取证缺口，以及非文本输入的对抗性扰动。tools/test_llm_numbering.py 用于强制区分这两类。
关键技巧包括：提示注入（指令覆盖、系统提示提取、过滤器规避）、模型提取（查询采样、令牌分析、成员推断）、数据投毒（行为异常、后门触发器、偏见分析）、DoS（令牌洪泛、递归扩展、上下文耗尽）、供应链（CVE 扫描、插件审计、模型验证）、MCP 工具滥用（MCP 服务器检查器/调试器常暴露 /api/mcp/connect 或类似端点，接受带任意命令参数的 serverConfig，可能导致未认证 RCE；需检查非标准端口如 6274、3000 等上的 MCP Inspector、MCP Playground 或任何 MCP 调试 UI）。
使用方式 快速开始流程：1）指定目标（LLM 应用 URL、API 端点或本地模型）；2）选择范围（完整 OWASP Top 10、特定漏洞或供应链）；3）智能体部署、测试并捕获证据；4）生成含 PoC 的专业报告。
工作流包括：
- 完整评估（4-8 小时）：侦察、部署全部 10 个智能体、执行利用、捕获证据、生成报告。
- 聚焦测试（1-3 小时）：从目录中选择类别（LLM01:2025 至 LLM10:2025，或 TX- 本地类别）、部署智能体、执行技术、记录发现。
- 供应链审计（2-4 小时）：清点依赖、扫描 CVE、测试插件/API、验证模型来源。
证据捕获方面，所有智能体收集：截图、网络日志、API 响应、错误、控制台输出、执行指标。报告自动包含：执行摘要、详细发现（CVSS 评分）、PoC 脚本、证据、修复指导。
适用场景 适用于获得书面授权的 AI 安全评估，包括对 LLM 应用的完整 OWASP Top 10 测试、针对特定漏洞类别的聚焦测试，以及供应链审计。可与 /pentest 技能集成，用于综合安全测试。AI 特定漏洞知识位于 /AGENTS.md，攻击 playbook 位于 reference/llm0X-*.md。
限制与关键规则 测试前必须获得书面授权；不得超出既定范围；尽可能在隔离环境中测试；所有发现需附可复现 PoC；遵循负责任披露实践。资料注明 LLM07:2025 系统提示泄露暂无 playbook，属于已知缺口。关于收费、价格、平台支持等具体信息，资料暂未提供。