SuperAPI AI 工具集

guardrails-and-safety

设计与创作

查看项目

更新于 10-15 19:50

技能介绍

用途:为处理用户输入、调用真实工具或运行在受监管领域(金融、医疗、法律、教育)的 LLM 智能体设计护栏。核心观点是安全不是包装层,而是架构决策;系统提示里写一句“要安全”或只加一个输出过滤器都不算护栏。

主要能力:提出五层防护栈——输入层(模式校验、PII 检测、提示注入检测、按用户限流)、路由层(分类请求,在进入智能体前拒绝越界流量)、模型层(明确拒绝契约的系统提示、响应格式约束、按用户角色限定工具子集)、工具层(每次工具调用的服务端授权、允许列表、幂等键、副作用确认)、输出层(模式校验、PII 脱敏、内容审核、可选二次复核)。面向用户的智能体至少两层,写入生产系统需全部五层。

使用方式:按决策流判断——输入来自人、上游 LLM 还是文档(三者都需抗注入处理,文档是最薄弱向量);智能体是否涉及金钱、身份或对外消息(需逐动作授权与高影响动作人工确认);单个坏输出是否会造成下游危害(需二次复核或确定性校验器);领域是否受监管(护栏是证据,需完整日志)。

适用场景与限制:适用于构建面向用户、带真实副作用工具或受监管的智能体,以及处理越狱、提示注入、非预期动作事件。资料未提供具体安装命令、代码示例或价格信息。反模式包括:仅靠系统提示“要安全”、只做事后输出过滤、信任 LLM 生成的工具参数、把提示注入当模型问题、没有红队集、用同一模型评估自身输出、只记录提示不记录工具调用。硬性要求:没有红队集就不部署。