SuperAPI AI 工具集

automated-testing

测试与质量

查看项目

更新于 10-16 08:07

技能介绍

用途:把 AI 安全测试集成进 CI/CD 流水线,实现持续防护。适用于代码推送、拉取请求和定时触发的安全自动化场景,覆盖 OWASP LLM01(注入)、LLM02(信息泄露)、LLM05(输出)、LLM10(DoS),对应 NIST 的 Measure、Manage 环节。

主要能力:提供四阶段流水线(快速扫描、综合安全测试、红队模拟、安全门禁决策)。集成 GitHub Actions,矩阵式运行 injection、jailbreak、safety、privacy 测试套件;使用 garak、pyrit、safety、detect-secrets 等工具;提供 Python 自动化测试框架,包含 QuickSecuritySuite、ComprehensiveSuite、RedTeamSuite;支持 pre-commit 钩子检查提示词中的硬编码密钥与注入模式,以及模型配置中的高风险项(如 temperature 过高、max_tokens 为 -1);提供测试矩阵、安全门禁阈值、Slack/邮件/PagerDuty 通知与 Prometheus 指标推送配置。

使用方式:在仓库中添加 .github/workflows/ai-security.yml,按阶段配置 job;安装依赖 pip install garak pyrit safety;通过 configs/test_matrix.yaml 定义触发条件、超时与阻断策略;用 configs/gate_thresholds.yaml 设定门禁阈值;本地可运行 python scripts/security_gate.py 等脚本评估结果。

限制:资料未提供具体价格、平台支持范围、部署要求与效果数据,暂未提供。测试阈值、超时时间等需按实际模型自行调整;高误报、流水线超时、覆盖率不足等问题需通过调参、并行化或补充用例解决。