用途:在训练、微调或部署前检测数据投毒(MITRE ATLAS AML.T0020)与模型后门(AML.T0018),并覆盖 ML 供应链风险(AML.T0010),对应 OWASP LLM04:2025。
主要能力:验证数据集与权重来源和完整性(哈希、签名、安全格式);用 Cleanlab 发现标签错误、离群和近重复样本;用 ART 的 ActivationDefence 做激活聚类,用 SpectralSignatureDefense 做谱特征确认;通过触发器探测量化攻击成功率;输出映射到 ATLAS 与 OWASP 的评估报告。
使用方式:需 Python 3.10+ 虚拟环境,安装命令为 pip install adversarial-robustness-toolbox、pip install cleanlab、pip install numpy scikit-learn safetensors,并选择 tensorflow 或 torch 后端。流程包括校验哈希、用 safetensors 安全加载权重、运行 Cleanlab 扫描、执行 ART 激活聚类与谱特征分析、探测后门触发器、隔离高置信样本并重训复测。
适用场景:使用第三方或用户贡献数据训练前、部署下载的预训练检查点前、ML 供应链安全审查、调查特定输入引发的异常行为,以及作为 CI/CD 扫描门禁。
限制:仅限在受控隔离测试环境中生成和使用投毒样本与后门模型,不得部署后门模型或分发投毒数据集;具体检测效果、性能与平台兼容性资料未提供。