用途:对用户自有或已获书面授权的模型、智能体与应用开展 AI 红队评估,覆盖提示注入、越狱、数据外泄、工具滥用、智能体劫持、RAG 投毒、资源耗尽等攻击面。
主要能力:按攻击分类法组织测试,包括直接注入(用户输入覆盖系统策略)、间接注入(检索文档、网页、邮件、文件、图片 alt 文本或工具输出中的恶意内容)、越狱(角色扮演、假设、编码、混淆、多轮漂移、人格固定)、工具滥用(迫使浏览、shell、代码或 MCP 工具越权,如 SSRF、文件读取、命令执行)、数据外泄(泄露系统提示、密钥、嵌入、训练数据或用户记忆)、智能体劫持(改写计划、循环、提权、调用非预期子智能体)、RAG 投毒(索引污染、排序操纵、嵌入碰撞)与资源耗尽(token 炸弹、递归工具调用、提示炸弹 DoS)。
使用方式:先映射 AI 表面(模型、系统提示、工具、检索器、记忆、输出汇与下游调用方),按表面构建滥用用例威胁模型;生成带版本的攻击语料 attacks.jsonl,字段为 {id, technique, payload, expected_block, severity};运行测试框架并记录 {pass, fail, partial, refusal_quality, leak_evidence};按技术统计攻击成功率、平均拒绝时间与影响范围。
防御输出:输入/输出分类器与工具 schema 白名单、检索上下文来源标签与不可信来源隔离、先规划后执行并对高影响工具人工审批、速率限制、递归上限与按工具预算,以及红队报告(主要技术、复现、修复负责人、回归测试)。
交付物:surface.md、threats.md、attacks.jsonl、harness/、results.csv、report.md、regression-suite/。
限制:仅可测试自有或已获书面授权的目标;不得产出可运行恶意软件、CSAM、武器合成或绕过模型安全以造成现实危害的内容;所有成功攻击须附带检测与缓解措施。具体安装命令与运行参数暂未提供。