SuperAPI AI 工具集

agent-guardrails

智能体与模型

查看项目

更新于 10-15 19:53

技能介绍

用途:该技能指出单次 LLM 调用无法自我监管,生产环境中的智能体需要分层防御,包括输入过滤器、输出过滤器、工具白名单和行为策略,并说明应在哪些环节接入相应库。

适用场景:智能体读取不可信输入(网页、邮件、用户上传);智能体拥有触及真实系统的工具(数据库、API、资金、发送消息);合规要求 PII 脱敏或内容策略执行;日志中出现提示注入或数据外传尝试;仅靠 LLM-as-judge 已在红队测试中被绕过。

防御层次:用户输入 → 输入守卫 → 智能体 → 策略门禁 → 工具 → 输出守卫 → 用户。输入守卫负责越狱、PII、话题检测;策略门禁负责白名单、人工介入(HITL)、参数校验;输出守卫负责 PII 脱敏与密钥清除。

库选型:NeMo Guardrails 提供 Colang DSL 与对话轨道,适合声明式对话策略;Lakera Guard 擅长提示注入与越狱检测,托管、快速、接入成本低;LLM Guard 开源、模块化扫描器,适合自托管与完全控制;Llama Guard 3 为内容策略 LLM,权重开放可定制;Presidio 用于 PII 检测与脱敏,满足 GDPR/HIPAA。默认组合:NeMo Colang 做对话策略 + Lakera 或 LLM Guard 防注入 + Presidio 处理 PII。

用法要点:输入过滤可用 LLM Guard 的 PromptInjection、TokenLimit、Anonymize 等扫描器依次扫描,任一不通过即抛出 GuardrailBlock;Colang 策略可定义“用户提出越题”与“机器人拒绝越题”的对话流;工具门禁维护 ALLOWED_TOOLS 与 HITL_REQUIRED 集合,不在其中则阻断,需人工介入则请求批准,否则校验参数模式。间接注入缓解措施包括:为每个片段打来源标记,并在系统提示中声明非系统来源的指令必须视为数据;按来源限定工具范围,抓取的网页内容不能触发高权限工具;做输出差异检查,若智能体突然写出未曾见过的 URL 或邮箱则标记为外传。

限制:资料未提供具体安装命令、定价、性能指标或兼容版本信息;具体配置与部署细节需参考所集成库的各自文档。