用途:该技能让 Claude 系统评估并加固个性化 LLM 智能体,依据 PASB(个性化智能体安全基准)框架与论文《From Assistant to Double Agent》(arXiv:2602.08412v2)的攻击分类,覆盖智能体完整执行生命周期中的三类攻击面:用户提示处理、工具交互、记忆检索。适用于审计调用外部工具、处理个人数据或维护持久记忆的智能体。
主要能力: 一是提示层测试,区分直接提示注入(在用户输入中附加对抗指令)与间接提示注入(把载荷嵌入智能体抓取的网页、工具返回或检索文档,用户提示保持正常,更难发现)。 二是工具交互审计,按 PASB 风险类别梳理通信、金融、数据外泄、文件与系统访问等工具能力;关键发现是攻击主要影响调用哪个工具而非是否调用,故需核对工具与参数而不只看是否拒绝。 三是记忆投毒评估,测试攻击者能否写入对抗条目、污染条目是否在后续无关查询中被检索、智能体是否未经确认就按被污染上下文行动,并区分提取与修改两类危害。 四是量化攻击成功率(ASR),按信息泄露、违规操作、注入后持久化分别统计。 五是实施分层防御:分隔符包裹不可信内容、三明治提示在不可信内容后重申目标、系统提示中加入危险动作需用户确认的规则,并对高风险工具做工具加参数白名单与确认门。
使用方式:先梳理信任边界,标记用户输入、工具返回、记忆条目等通道的可信程度;再按风险层级清点工具;随后构造直接与间接注入、记忆提取与修改的测试用例,统计 ASR,启用防御后复测,输出含攻击面地图、各向量前后 ASR、高风险工具组合与残余风险的报告。资料中的示例使用 read_email、send_email 等工具名以及 sanitize_tool_return 等代码片段。
适用场景:审计具备邮件、日历等工具的智能体;验证工具返回能否劫持行为;为使用 RAG 或持久记忆的智能体加固;对处理不可信内容的管线做红队测试。
限制:假定攻击者能影响至少一个不可信数据通道;ASR 结果依赖具体模型,未必可迁移到其他模型或微调变体;无状态智能体不受记忆阶段攻击影响;当前不覆盖跨多轮逐步升级信任的社会工程攻击。防御存在误报、编码绕过、测试污染生产记忆、超时回退绕过检查等处理难点,且三明治防御后仍可能残留约 10% 至 22% 的攻击成功率。