LLM Guard 是由 Protect AI 开发的一款面向大语言模型(LLM)交互的安全工具包,旨在强化 LLM 的安全性。其核心用途是确保用户与 LLM 的交互保持安全,具体通过提供净化处理(sanitization)、有害语言检测、数据泄漏预防以及提示注入攻击抵御等能力来实现。
主要能力方面,LLM Guard 提供多种扫描器。提示扫描器(Prompt scanners)包括 PromptInjection,用于检测提示注入攻击。输出扫描器(Output scanners)包括 FactualConsistency,用于检查输出的事实一致性;以及 URLReachability,用于验证输出中 URL 的可达性。这些扫描器覆盖了输入和输出两端的安全检查。
使用方式上,LLM Guard 设计用于生产环境的轻松集成与部署,支持开箱即用。用户需要先下载并安装该包,基础功能仅需要少量库,使用更高级功能时必要的库会自动安装。使用前需确保 Python 版本为 3.9 或更高,可通过 python --version 确认。若安装库时遇到问题,可考虑升级 pip:python -m pip install --upgrade pip。此外,文档中提供了“Get started with ChatGPT and LLM Guard”以及“Deploy LLM Guard as API”的指引,方便用户快速上手和部署为 API 服务。
适用场景方面,LLM Guard 适合需要为 LLM 应用增加安全防护的开发者和团队,尤其是在生产环境中部署 LLM 时,用于防止提示注入、有害内容、数据泄漏等风险。
限制方面,需要特别注意的是,该项目及其在 Hugging Face 上关联的模型已被归档,不再处于主动开发或维护状态。因此,用户在使用时需自行评估其长期维护性和安全性更新情况。此外,使用要求 Python 3.9 或更高版本,对于更低版本的 Python 环境可能无法直接使用。关于具体的收费、价格、平台支持范围等信息,当前资料暂未提供。
LLM Guard 是开源解决方案,社区可通过 GitHub Issue 提交 bug 报告、功能请求或改进建议,也可加入 Slack 进行反馈、提问和讨论。项目文档、Playground 和 Changelog 可供进一步了解使用和定制方法。