SuperAPI AI 工具集

red-team-frameworks

通用与其它

查看项目

更新于 10-16 03:43

技能介绍

用途:本技能聚焦 AI 红队与自动化安全测试,用于对 LLM 与机器学习模型进行漏洞探测、对抗攻击与鲁棒性评估,覆盖 OWASP LLM Top 10、NIST 与 MITRE ATLAS 相关方向。

主要框架:PyRIT(微软,企业级 LLM 红队,多轮攻击编排、策略库、目标连接器、评分与上下文管理,支持 crescendo、pair、tree_of_attacks、flip 等策略);garak(NVIDIA,LLM 漏洞扫描,50+ 探测类型,含 promptinject、dan、encoding 等,支持插件架构与 CI/CD 集成);Counterfit(微软,面向图像分类、表格模型与目标检测的对抗攻击,集成 ART);ART(IBM,通用 ML 安全,100+ 攻击与 50+ 防御,覆盖规避、投毒、提取与推断攻击,支持 TensorFlow、PyTorch、Keras、Scikit-learn);TextAttack(社区,NLP 对抗攻击,含 TextFooler、BAE、BERTAttack 等配方与自定义攻击)。

使用方式:PyRIT 以 Python 编排目标与评分器执行多轮攻击;garak 通过命令行扫描,如 garak --model_type openai --model_name gpt-4 --probes all --report_prefix full_scan;Counterfit 与 ART 通过 Python 加载目标模型并执行攻击;TextAttack 加载模型与数据集后运行攻击配方。支持自定义探测与统一框架集成。

适用场景:企业 LLM 部署测试、CI/CD 漏洞扫描、图像/表格模型对抗评估、NLP 模型扰动测试与研究级评估。

限制:需明确授权与隔离测试环境,避免攻击生产系统;需限制速率防止 DoS;结果受模型版本与 API 影响;具体收费与平台支持暂未提供。