SuperAPI AI 工具集

ai-agent-safety-and-red-team

智能体与模型

查看项目

更新于 10-16 03:40

技能介绍

用途:当需要加固智能体功能、防御智能体特有攻击面时使用,包括间接提示注入(来自工具输出、检索片段、网页、邮件正文的指令)、动作升级(低权限工具输出被用于高权限工具参数)、租户数据外泄(数据被写入 webhook URL、外部邮箱收件人、日志等跨边界参数)、递归自我修改(智能体改写自身提示、记忆或工具注册表),以及建立夜间与每次 PR 触发的红队 CI 套件。

主要能力:构建智能体专属威胁模型;实现间接注入三层防御(工具观察来源标记、注入标记分类器、计划落地后安全检查);通过工具参数来源标记与污点追踪阻止动作升级,对不可逆或外部影响工具强制即时人工审批;在执行外部影响工具前用外泄模式分类器扫描参数;不向智能体暴露自身提示、工具注册表与直接记忆写入等能力;输出安全事件分类、告警与运行手册,并通过后台在 5 秒内执行租户级 kill-switch。

必要用法:需先具备威胁模型、带可逆性分类的工具注册表、运行时追踪 schema、评估工具与 kill-switch 基础设施。工作流为读技能文档、建威胁模型、按 §2–§5 实现防御、建红队 CI 套件、接入事件分类与告警、核对反模式。红队套件覆盖 KB/网页/邮件注入、动作升级链、webhook 与邮箱外泄、自我修改、kill-switch 规避、跨租户等场景。

限制:不适用于单次功能中的直接提示注入、通用 AI 安全清单、平台级安全审查或工具注册表分类等任务。反模式包括信任检索片段、暴露反射工具、仅靠单一分类器、红队套件一次写定不更新、kill-switch 依赖代码部署。未提供具体收费、价格或平台信息。