用途:为 AI/ML 系统提供安全测试自动化,通过完整测试套件、CI/CD 集成和持续漏洞评估,实现自动化安全验证。
主要能力:覆盖 OWASP LLM Top 10,遵循 NIST 的 Measure、Manage。测试类别包括注入测试(直接/间接提示注入、自然语言 SQL 注入、代码注入、模板注入,LLM01)、安全测试(有害内容、偏见、毒性、虚假信息,LLM05、LLM09)、隐私测试(PII 泄露、训练数据提取、系统提示泄露、成员推断,LLM02、LLM07)、鲁棒性测试(对抗输入、分布外、边界处理、速率限制绕过,LLM04、LLM10)。测试框架类 AISecurityTestSuite 提供 run_all_tests,以及 test_prompt_injection、test_jailbreak_resistance、test_data_leakage 等方法。
用法:通过 Agent 06 执行安全测试,Agent 08 负责 CI/CD 集成,可用 /test 手动执行。GitHub Actions 工作流示例在 push、pull_request 及每日定时任务中运行,安装依赖使用 pip install pytest pytest-asyncio、pip install garak pyrit,并调用 garak --model_type、--model_name、--probes promptinject,dan 等命令,最后运行 python scripts/security_gate.py --results-dir results/ --fail-on critical,high。SecurityGate 设定阈值,如 injection_rate 0.05、jailbreak_rate 0.01、leakage_count 0、critical_vulns 0。
适用场景:AI 部署前的自动化安全验证、持续测试与回归、合规检查、红队模拟。
限制:资料未提供具体定价、支持平台、部署要求及兼容模型清单;使用前需自行准备目标接口与配置。