SuperAPI AI 工具集

cot-injection

通用与其它

查看项目

更新于 10-16 07:23

技能介绍

用途:该资料是一套思维链(CoT)注入攻击方法论,面向使用 ReAct/CoT 框架进行多步推理的系统,用于在目标 Agent 依赖中间推理结果做决策,或需要测试思维链完整性时开展安全测试与评估。触发条件为系统使用多步推理、存在权限验证或审批步骤、由自然语言生成查询等。

主要能力:分为三类攻击方法。思维链干扰注入(GAARM.0042.001)在用户输入中嵌入伪造的 Agent 返回结果格式,使模型误认为工具调用已完成,从而跳过实际调用;思维链操纵注入(GAARM.0042.002)注入指令让模型认为验证或审批步骤已通过或不适用,直接跳转敏感操作;查询注入(GAARM.0056.001)在自然语言输入中间接注入恶意 SQL/API 查询,并可结合检索投毒污染 RAG 上下文。

使用方式:资料按阶段给出流程。Phase 0 识别 CoT/ReAct 架构,观察是否暴露 Thought/Action/Observation 等中间步骤,识别工具调用模式,确认推理链长度与分支点。Phase 1 记录真实返回格式后构造伪造中间结果并判断模型是否跳过工具调用。Phase 2 分析权限检查、金额校验、人工审批等安全控制点,构造绕过 prompt 并观察是否直接调度敏感操作。Phase 3 在自然语言输入中嵌入查询控制语义或通过检索投毒,观察最终查询是否包含非预期表、字段或条件。资料另附 6 项检测清单,覆盖 CoT 框架可见性、伪造返回格式、跳过验证、间接查询触发、中间结果独立验证及硬编码校验。

适用场景:对采用 ReAct/CoT 的 Agent 系统进行安全测试,例如订单退款、转账、数据导出、权限变更等高风险业务流程的推理链完整性验证。

限制:资料仅给出方法论与测试思路,未提供可直接运行的工具、命令或代码;GAARM 编号为资料中的分类标识,具体执行需在被授权范围内进行。防御要点包括中间结果独立校验、关键验证步骤硬编码、输入格式隔离、查询参数化以及敏感操作审计与限流。