本技能为 AI/ML 安全专家攻击手册（playbook），用于在评估机器学习系统时系统性地检查各类攻击面。
用途 面向对 AI/ML 系统进行安全评估的场景，覆盖从模型加载、部署管线到使用层面（API、LLM、自主智能体）的攻击与风险分析。手册说明其定位为评估视角，并提示基座模型可能低估 pickle 反序列化 RCE 的严重性以及黑盒模型提取的可行性。
主要内容与能力
- 模型供应链攻击：包括恶意模型文件与 pickle RCE。Python pickle 在反序列化时执行任意代码，PyTorch .pt/.pth 默认使用 pickle。手册给出恶意 reduce 示例，加载 torch.load('model.pt') 即执行嵌入命令。文中列出各格式风险与缓解：.pt/.pth 为 Critical，建议 torch.load(..., weights_only=True)（PyTorch ≥ 2.0）；.pkl/.pickle 为 Critical，不要加载不可信 pickle；.joblib 为 High（内部使用 pickle），需验证来源；.npy/.npz 为 Medium（allow_pickle=True 可致 RCE），应使用 allow_pickle=False；.safetensors 与 .onnx 为 Safe（仅张量或图定义，无任意代码），推荐使用。还包括 Hugging Face 模型投毒向量（带 pickle 后门的上传模型、后门权重、恶意 tokenizer 配置、仓库内被投毒训练脚本）、检测信号（.pt/.pkl 扩展名、非标准 *.py 自定义代码、要求 trust_remote_code=True 的异常 config.json、缺少来源与训练数据说明的模型卡），以及 ML 管线中的依赖混淆（内部包在公共 PyPI 上被注册更高版本，setup.py 执行任意代码）。
- 对抗样本：攻击分类包括白盒（梯度法 FGSM、PGD、C&W）、黑盒迁移、黑盒查询（有限差分或进化方法估计梯度）、物理世界。给出 FGSM 单步公式（x_adv = x + epsilon * sign(∇_x L)）、PGD 迭代与投影步骤、C&W 优化目标，以及物理世界攻击类型（对抗补丁、对抗眼镜、停车标志扰动、对抗 T 恤、音频对抗）。
- 模型投毒：训练数据投毒（后门触发词示例）、标签翻转（随机、定向、基于触发）、联邦学习中的梯度操纵（缩放梯度、后门梯度、符号翻转）及防御（Krum、截尾均值、中位数、梯度异常检测、差分隐私）。
- 模型窃取/提取：基于查询的提取流程与查询量估计（图像分类器约 10,000–100,000 次查询）、针对 ML API 的侧信道（响应时间、置信度分数、Top-K 概率、缓存时序、边缘设备功耗）、黑盒知识蒸馏（使用概率分布软标签）。
- 数据隐私攻击：成员推断（含影子模型方法）、模型反演（优化输入以最大化目标标签概率）、联邦学习中的梯度泄露（DLG 可高保真恢复数据与标签）。
- LLM 特有安全（交叉引用 llm-prompt-injection）：训练数据提取（前缀提示、温度操纵、重复提问、束搜索多样性）、系统提示提取、对齐绕过（微调攻击、表示工程、激活补丁、量化退化），并指出安全对齐常是基座能力之上的薄层。
- 智能体安全：权限提升（邮件正文注入诱导工具调用与数据外泄）、多智能体信任问题（跨代理注入导致特权数据库查询）、无确认工具使用风险分级（代码执行与财务为 Critical，数据修改与通信为 High，数据访问为 Medium，计算为 Low），原则是带副作用的工具应需显式用户确认，只读工具可在记录日志前提下自动批准。
- 工具与框架：Adversarial Robustness Toolbox (ART)、CleverHans、Fickling、ModelScan、NB Defense、Garak、PyRIT（Microsoft）、Rebuff。
- 决策树：按模型加载/部署管线、分类检测模型、用户贡献数据训练、API/MLaaS、敏感数据训练、LLM/聊天机器人、自主智能体依次判断，并最终运行自动化扫描。
使用方式 资料仅给出示例代码、命令、风险表和评估决策树，未提供安装命令、调用步骤或运行环境说明，这些内容暂未提供。
适用场景 适用于对 ML 模型文件与部署管线、对抗鲁棒性、训练数据完整性、ML API、隐私保护、LLM 应用及自主智能体进行安全评估与红队测试。
限制 本技能以攻击技术说明与检测信号为主，具体代码运行环境、依赖版本、工具安装与使用方法、定价与授权方式均暂未提供；防御建议仅在部分条目中以缓解措施形式出现，未形成完整防御方案。