garak 是一个开源的 LLM 漏洞扫描器,全称为 Generative AI Red-teaming & Assessment Kit(生成式 AI 红队与评估套件)。它主要用于评估模型或系统的安全性,通过探测漏洞来帮助提升 LLM 安全水平。
主要能力:garak 包含数十个插件和数千条提示词,能够对大型语言模型进行安全测试。其目标是提升 LLM 安全贫困线,因此作为开源软件持续更新,由 NVIDIA 和社区共同维护。
使用方式:garak 提供命令行界面,工具尽量保持友好的命令行体验。用户可以参考用户指南和参考文档获取详细支持。开发者活跃在 garak Discord 社区中,GitHub 问题也会得到积极回应和处理。如需进一步帮助,可通过提供的 NVIDIA 邮箱联系。
适用场景:适用于需要评估 LLM 或系统安全性的场景,许多公司已基于 garak 构建了成功产品,它也被独立文章推荐为行业标准。
限制:目前 garak 由 NVIDIA 支持,但作为研究主导的项目,尚未在 NVIDIA 主页上获得展示。网站内容采用 Apache 2.0 许可证。