SuperAPI AI 工具集

agent-safety

安全与审计

查看项目

更新于 10-16 08:06

技能介绍

用途:为负责任的 AI 智能体部署实现安全系统,适用于添加输入/输出防护栏、实现内容过滤、设置限流以及确保 GDPR、SOC2 等合规。

主要能力:提供输入防护栏(如提示注入检测,识别“ignore previous instructions”“you are now”“forget everything”等模式);输出防护栏(内容过滤,如毒性过滤、PII 脱敏、幻觉检测);限流(基于 rpm 与 tpm 的令牌桶算法);并提供合规检查清单(输入校验、输出过滤、审计日志、速率限制、PII 处理)。

参数:task(字符串,必填,安全目标);risk_level(枚举,可选,strict、moderate、permissive,默认 strict);filters(列表,可选,默认启用 injection、pii、toxicity)。

用法示例(代码保持原样): from guardrails import Guard from guardrails.validators import ToxicLanguage, PIIFilter

guard = Guard.from_validators([ ToxicLanguage(threshold=0.8, on_fail="exception"), PIIFilter(on_fail="fix") ])

Validate output

validated = guard.validate(llm_response)

常见问题与解决:误报可调整阈值;注入绕过可加入基于 LLM 的检测;PII 泄漏可增加二次校验;性能下降可缓存过滤结果。

最佳实践:纵深防御(多层防护)、故障安全默认(默认拒绝)、全面审计、定期红队测试。

相关技能:tool-calling(输入校验)、llm-integration(API 安全)、multi-agent(按智能体授权)。参考:OWASP LLM Top 10、Guardrails AI。

限制:资料未提供具体安装命令、收费或价格信息,也未说明支持的平台与运行环境,相关细节暂未提供。