SuperAPI AI 工具集

continuous-llm-red-teaming-with-promptfoo

智能体与模型

查看项目

更新于 10-16 06:49

技能介绍

用途:把 LLM 安全测试变成持续回归测试。每次提交重跑同一套对抗用例,当先前安全的行为回退时让流水线失败。Promptfoo 是开源 LLM 评估与红队框架,DeepTeam 提供 50+ 漏洞与 10+ 攻击方法。

主要能力:Promptfoo 插件直接映射 OWASP LLM Top 10(owasp:llm)、OWASP Agentic(owasp:agentic)与 MITRE ATLAS,核心威胁为 AML.T0051 LLM 提示注入;策略包括 jailbreak、jailbreak:composite、crescendo、prompt-injection。报告按插件显示攻击提示、模型响应与评分结论,攻击成功率是核心指标。

使用方式:需 Node.js 18+ 与 Python 3.9+,安装:npm install -g promptfoo(或 npx promptfoo@latest)与 pip install -U deepteam。用 promptfoo redteam init 生成 promptfooconfig.yaml,配置 targets、redteam.purpose、plugins、strategies;运行 promptfoo redteam run,再用 promptfoo redteam report 查看报告。DeepTeam 可用 Python 的 red_team(model_callback=..., vulnerabilities=[...], attacks=[...]) 或 deepteam run config.yaml。CI/CD 中 Promptfoo 失败返回非零退出码以阻断合并,可用 promptfoo redteam run --filter-failing results.json 只重跑失败用例。

适用场景:需要持续自动化红队而非一次性手工测试;需要安全门禁阻止合并;需要按 OWASP/ATLAS 映射做合规报告;需要对比两个模型或提示版本的安全态势;需要跨版本跟踪漏洞回归。

限制:仅可对自有或明确授权的 LLM 应用与端点运行;生成的越狱、提示注入、有害内容诱导载荷属对抗输入,未经许可发送至第三方服务可能违反服务条款。需目标端点凭据与评分模型(如 OpenAI 密钥)环境变量,以及支持密钥存储的 CI/CD 平台。具体收费、价格与效果数据暂未提供。