用途:为处理用户输入的 LLM 应用增加输入/输出安全控制,例如新应用上线前加安全层、为既有聊天机器人或智能体加内容策略、在敏感数据管道中做 PII 检测脱敏、构建限制主题的助手、校验响应结构、防护 RAG 检索文档中的间接提示注入。
主要能力:输入护栏在发送给 LLM 前拦截并校验用户输入,阻断注入并脱敏敏感数据;输出护栏在返回用户前校验生成内容,过滤有害内容并强制结构合规。包含自检护栏、越狱检测、幻觉检测,以及基于 JSON 策略文件允许/屏蔽主题、模式与 PII 类别。
使用方式:需 Python 3.10+ 与 pip,OpenAI API key 或本地 LLM 端点(OPENAI_API_KEY)。安装:pip install nemoguardrails、pip install guardrails-ai、pip install presidio-analyzer presidio-anonymizer spacy,并执行 python -m spacy download en_core_web_lg。运行示例:python agent.py --input "Some text" --policy policy.json、python agent.py --file prompts.txt --mode full、python agent.py --input "..." --mode pii。可配置 config.yml 与 Colang 流程定义 rails,并以 GuardrailsPipeline 作为中间件在 LLM 调用前后校验。
限制:不能替代身份认证、授权与网络安全控制,护栏只是纵深防御层而非边界防御;不适合不涉及 LLM 的用户间实时内容审核。资料未提供具体收费、价格与性能数据,验证项中仅给出输入护栏额外延迟预期小于 200ms 的说明。