用途:在 LLM 功能上线、评估第三方模型、定期安全评估、响应越狱或提示注入事件、准备合规审计时,对 AI 应用做对抗性测试。使用前必须通过确认门:要求用户说明确切目标 URL、IP、账号或资源,确认书面授权与允许范围,展示确切命令及预期效果,并在当前对话中获得显式确认;否则保持只读,仅给防御性指导,优先使用沙箱、一次性虚拟机或受控实验环境。
主要能力:按测试类别组织攻击套件,包括越狱抵抗、数据外泄(提取密钥、系统提示、租户数据)、工具滥用、社交工程和可用性滥用(令牌放大、DoS 式提示);提供分类对抗提示库示例(直接覆盖、角色操纵、编码规避、多语言绕过、上下文注入、数据外泄、工具滥用、令牌放大);附带自动化测试脚本 ai_red_team_runner.py 模板,支持发送提示、生成测试 ID、严重性分级和结果导出;提供风险评分启发式(可能性×影响×可检测性)与报告模板;可集成到 CI/CD,如 .github/workflows/ai-red-team.yml。
使用方式:准备 Python 3.10+ 与 openai、anthropic 等 SDK,配置目标模型端点,使用 red-team-config.yaml 与 adversarial-prompts.yaml,运行 python ai_red_team_runner.py。模板脚本默认将攻击成功判定设为 None,需自行替换为经独立验证的类别专用判定器,并结合合成金丝雀、工具轨迹和观察到的目标效果评估。
限制:模板未实现速率与费用预算控制、私有输出路径和通知授权,需在实际工具中补充;关键词和拒答文本不能作为攻击成功证据;温度为零也不保证确定性;模型版本变化会导致结果不可复现,需固定版本并记录 API 参数;CI/CD 中不得把提供方密钥暴露给不可信 PR 代码,空结果、缺失判定器或提供方失败必须视为不完整并失败;风险评分为排序启发式,非校准概率,SLA 阈值需组织政策确认。具体收费、价格、平台支持范围资料未提供。