用途:该技能用于测试 AI 训练流程是否存在数据投毒漏洞,评估训练数据被操纵后对模型行为的影响。OWASP 对应 LLM04(数据与模型投毒)和 LLM03(供应链),MITRE 对应 AML.T0020,风险等级标注为 CRITICAL,由 04-llm-vulnerability-analyst 智能体执行。
主要能力与攻击类型:1)标签翻转(label_flip),投毒率 1-10%,导致准确率下降,可用统计分析检测;2)后门注入(backdoor),投毒率 0.1-1%,干净输入表现正常,触发器激活恶意行为,且可抵抗微调,可用激活分析、Neural Cleanse 检测;3)干净标签攻击(clean_label),投毒率 0.5-5%,投毒样本标签正确,极难检测;4)LLM 训练投毒(llm_poisoning),针对微调数据与 RLHF,包括指令投毒、偏好操纵、知识注入。
使用方式:提供技能名 data-poisoning,通过 /test behavioral 命令接口调用,配合 adversarial-training 技能验证防御效果,并集成 Agent 04 执行投毒测试。资料包含 Python 类实现示例,如 LabelFlipAttack、BackdoorAttack、CleanLabelAttack、LLMPoisoningAttack。
检测方法:统计分析检测标签翻转;激活聚类检测后门;Neural Cleanse 检测后门触发器;谱签名检测投毒样本;影响函数定位高影响数据,各自存在干净标签、隐蔽触发器、算力、低投毒率、规模等限制。
适用场景与限制:用于对训练数据来源和训练管线做红队评估,风险等级按数据源(外部抓取高、众包中、内部整理低、已验证来源极低)和管线弱点(未验证的数据摄入、缺少完整性检查、无溯源、访问控制弱)分级。严重度分为 CRITICAL、HIGH、MEDIUM、LOW。具体安装方式与费用暂未提供。