SuperAPI AI 工具集

agent-red-team

智能体与模型

查看项目

更新于 10-16 00:31

技能介绍

用途:对用户自有或获授权的 Microsoft Copilot Studio 智能体做对抗性保障评审,重点不是普通用户越狱,而是间接提示注入(检索内容中隐藏指令)与过度共享(智能体返回调用者本无权查看的文档)。

授权门槛:测试前必须确认并记录所有权或书面授权、测试环境(优先 dev/专用测试环境,仅生产需书面确认)、数据使用(只用合成金丝雀数据,禁用真实个人数据、凭据与客户记录)、影响范围(不针对真实系统执行破坏性或外发动作,用桩或只读路径验证)、测试窗口(通知安全告警监控方)。无法满足则停止。

主要步骤:1)绘制攻击面,列出信任边界、身份模型、知识范围、工具读写能力、外泄路径与敏感资产;2)按类别生成测试套件:间接提示注入(最高优先级)、过度共享与授权绕过、数据泄露与外泄、范围逃逸与滥用、工具滥用、接地完整性、过度拒绝;3)执行并留存证据,先运行 python3 scripts/canaries.py --agent "HR Assistant" --out ./redteam-run 生成 canaries.csv、findings.csv、evidence/ 与 RUN.md,每例至少跑两次,逐字记录输入、完整响应、引用与工具调用,并注明拦截层;4)按影响×可能性评分(Critical/High/Medium/Low/Info),只报告可复现结果,未确认的标为假设;5)将每项发现映射到控制措施,如 Entra ID 用户认证、知识范围收窄、不可信内容隔离、DLP 与连接器治理、工具加固、指令加固、内容审核设置与监控,并区分结构性修复与缓解性修复;6)交付自包含 HTML 评估报告、CSV 发现登记表与一页 go/no-go 摘要。

限制:仅用于保障自有或获授权智能体,不帮助攻击第三方系统;不产出可复用的武器化载荷库;不得用真实数据;不得对真实系统完成破坏性或外发动作;结论具时效性,模型、知识源或工具变更后需重跑,涉及敏感数据的智能体至少每季度一次;不得夸大结果,需报告成功率。