SuperAPI AI 工具集

ai-ml-security

安全与审计

查看项目

更新于 10-16 07:22

技能介绍

用途:作为 AI/ML 系统安全评估的操作手册,帮助测试模型加载与部署链路、分类/检测模型、MLaaS、含敏感数据训练的模型、LLM 与自主智能体中的风险。

主要能力:

  1. 模型供应链:pickle 反序列化 RCE(PyTorch .pt/.pth、.pkl、.joblib、.npy 等格式风险与缓解;.safetensors、.onnx 相对安全)、Hugging Face 模型投毒与检测信号、依赖混淆。
  2. 对抗样本:白盒 FGSM、PGD、C&W,黑盒迁移与查询攻击,以及物理世界对抗补丁、眼镜、音频扰动。
  3. 模型投毒:训练数据后门、标签翻转、联邦学习中的梯度操纵。
  4. 模型窃取:查询式提取、侧信道(响应时间、置信度、Top-K、缓存与功耗)、黑盒知识蒸馏。
  5. 隐私攻击:成员推断、模型反演、联邦学习梯度泄漏(DLG)。
  6. LLM 专项:训练数据提取、系统提示提取、对齐绕过(微调、表征工程、激活修补、量化退化)。
  7. 智能体安全:提示注入导致的权限提升、多智能体信任传递、有副作用工具需用户确认。

使用方式:按文档末的决策树评估目标——先看模型加载/部署链路,再判断是否为分类模型、是否用用户贡献数据训练、是否为 API、是否涉及敏感数据、是否为 LLM、是否为智能体,最后用自动化工具扫描。文档给出常用工具:Adversarial Robustness Toolbox、CleverHans、Fickling、ModelScan、NB Defense、Garak、PyRIT、Rebuff。

适用场景:安全测试、红队评估、ML 供应链审计、隐私合规评审。

限制:资料限于方法论述与格式风险表,未提供各工具的具体安装命令、版本或收费信息;跨主题细节(如 LLM 提示注入)需参考相关技能文档,未在本文展开。