SuperAPI AI 工具集

input-output-guardrails

通用与其它

查看项目

更新于 10-16 03:43

技能介绍

用途:为 AI 系统的输入与输出实现多层安全防护,过滤恶意输入与有害输出,覆盖 OWASP LLM01(注入)、LLM02(信息泄露)、LLM05(输出处理)、LLM07(提示泄露),对应 NIST 的 Manage 职能,面向生产环境安全过滤场景。

主要能力:输入侧包含注入检测(基于正则模式匹配,如忽略先前指令、开发者模式、绕过安全过滤等)、PII 检测与脱敏(SSN、信用卡、邮箱、电话、API Key)、长度与空值校验,以及速率与成本限制(最大输入 token、每分钟请求数、并发数、每小时成本上限,超限时截断、排队、拒绝或阻断)。输出侧包含内容安全过滤(毒性分类器阈值、屏蔽词表)、敏感数据遮蔽(API Key、密码、连接字符串、IP 地址)、系统提示泄露检测与事实性/引用检查(标记待核实、验证来源、添加不确定性声明)。

使用方式:通过 guardrails_config.yaml 配置输入与输出开关、阈值、速率限制、回退响应与日志策略;输入被阻断时返回固定回退语,输出被阻断时返回安全替代内容。技能标识为 input-output-guardrails,由 Agent 05-defense-strategy-developer 实现,可与 /defend 配置建议、CI/CD 自动化测试及监控告警集成。

限制:资料未提供具体安装命令、依赖环境、支持的模型或平台、收费与价格信息;效果指标(如注入阻断率、误报率、延迟影响)为资料中列出的示例数值,实际表现需自行验证。常见问题包括误报率高(需调整模式、增加允许列表、结合上下文)、延迟过高(优化正则、使用预编译模式、缓存)、编码绕过(需 Unicode 归一化并在检查前解码)。