用途:为ML/LLM系统定义对抗威胁模型并落地鲁棒性防御工程。适用于规避、投毒、模型提取与推断攻击的威胁建模;设计鲁棒性评测套件(ASR、扰动预算、切片指标、回归测试);实现对抗训练、输入清洗、检测器与集成防御;在实验室或预发环境对模型端点、API或批推理开展授权攻击演练;审计训练数据与流水线的投毒、后门和供应链篡改;制定生产护栏(输入校验、输出过滤、限流、异常监控);比较认证鲁棒性与经验性鲁棒性主张;排查模型更新、微调或数据刷新后的鲁棒性回退。
主要能力:六类核心工作流——范围与威胁建模、攻击分类与场景、指标与基准、防御与缓解、模型红队演练、生产护栏与监控。产出包括威胁模型、鲁棒性评测规范、结果报告(ASR与切片表、代表性失败、置信区间)、防御计划、演练日志与护栏规范。
使用方式与原则:仅在书面授权范围内测试,禁止未经批准攻击生产环境;以经验测量为主,认证边界仅作补充;采用分层纵深防御,综合模型、输入与运营层控制;保证可复现性,对数据、模型哈希、攻击代码与随机种子做版本管理;诚实记录威胁模型偏差与自适应攻击者假设。
限制与边界:不适用于泛LLM产品红队与越狱策略(见ai-redteam)、AI治理与合规映射(ai-risk-governance)、安全分类器研究(ml-research-engineer-safeguards)、保障网关与GPU服务(ml-infrastructure-engineer-safeguards)、隐私泄露研究(privacy-research-engineer-safeguards)、生产RAG/Agent实现(ai-engineer)、无鲁棒性范围的综述(ai-researcher)以及非模型的网络渗透测试。具体安装命令与代码未提供。