用途
AI Red Teaming 用于像攻击者一样持续测试 AI 应用,在攻击者之前发现可被利用的失效模式。它面向 LLM 驱动的功能或产品、第三方模型评估、现有 AI 系统的定期安全评估、越狱或提示注入事件响应,以及需要对抗性测试证据的合规审计准备。
主要能力
该技能围绕威胁场景定义、可复用攻击套件构建、结果跟踪与风险登记展开。测试类别包括:越狱稳健性(绕过安全指令)、数据外泄(提取机密、系统提示、租户数据)、工具滥用(未授权 API 调用或命令执行)、社会工程(诱导不安全的业务操作)、可用性滥用(token 放大与 DoS 式提示)。
它提供分类的对抗性提示词库,涵盖直接覆盖、角色操纵、编码规避、多语言绕过、上下文注入、数据外泄、工具滥用、token 放大等类别,并包含多语言与混淆攻击提示。
使用方式
前置条件包括:Python 3.10+ 及 openai、anthropic 或等效 SDK;目标模型端点访问权限(API 密钥或本地部署);用于跟踪攻击载荷的提示管理工具或电子表格;熟悉 OWASP Top 10 for LLM Applications;镜像生产配置的隔离测试环境。
使用流程为:定义威胁场景;按领域(支持机器人、编码智能体、RAG 助手)构建可复用攻击套件;在风险登记册中记录严重性与可利用性;运行自动化测试脚本;按评分标准计算风险分数;按节奏执行演练并输出报告。
技能提供自动化测试脚本 ai_red_team_runner.py,包含 RedTeamResult 数据类、AIRedTeamRunner 类、测试 ID 生成、提示发送、响应评估、严重性分类与结果导出功能。还提供运行器配置示例 red-team-config.yaml,包含目标模型、模型版本、系统提示、max_tokens、temperature、rate_limit_rps、输出目录、关键通知与通知 webhook 等字段。
评分标准从可能性、影响、可检测性、控制成熟度四个维度按 1/3/5 分评分,并通过 calculate_risk_score 函数计算 1-125 的复合风险分数,映射到 P0 至 P3 优先级与相应 SLA 小时数。
演练节奏包括:发布前阻断性红队门禁、每月深度专项活动、事件后定向复测、每季度覆盖所有类别的全范围演练。
报告模板包含日期、模型、范围、测试人员、执行摘要、发现摘要表、详细发现(类别、严重性、攻击提示、模型响应、攻击链、根因、建议、验证)、指标与建议。
CI/CD 集成示例为 GitHub Actions 工作流 ai-red-team.yml,在 pull_request 触发时运行红队测试,检查关键失败并阻断合并,同时上传结果工件。
适用场景
适用于发布新 LLM 功能或产品、采用前评估第三方模型、对现有 AI 系统进行定期安全评估、响应已报告的越狱或提示注入事件、准备需要对抗性测试证据的合规审计。
限制
资料未提供该技能的具体安装命令、收费模式、价格、平台支持范围或实际效果数据。使用前需自行准备目标模型端点访问权限、隔离测试环境与提示管理工具。评估响应时需注意误报率、速率限制、结果波动、生产环境被利用但测试通过、模型版本变更导致无法复现等问题,并参考故障排查表进行调优。