SuperAPI AI 工具集

garak

garak 是一个开源的 LLM 漏洞扫描工具,全称为 Generative AI Red-teaming & Assessment Kit。它内置数十个插件和数千条提示词,用于测试大语言模型的安全性问题。该工具由 NVIDIA 和社区共同维护,旨在提升 LLM 安全基线,帮助评估模型或系统的安全性。garak 提供命令行界面、用户指南、参考文档、研究论文以及 Discord 社区支持,并可通过 GitHub 获取代码。采用 Apache 2.0 许可证。

访问官网

工具介绍

garak 是一个开源的 LLM 漏洞扫描器,全称为 Generative AI Red-teaming & Assessment Kit(生成式 AI 红队与评估套件)。它主要用于评估模型或系统的安全性,通过探测漏洞来帮助提升 LLM 安全水平。

主要能力:garak 包含数十个插件和数千条提示词,能够对大型语言模型进行安全测试。其目标是提升 LLM 安全贫困线,因此作为开源软件持续更新,由 NVIDIA 和社区共同维护。

使用方式:garak 提供命令行界面,工具尽量保持友好的命令行体验。用户可以参考用户指南和参考文档获取详细支持。开发者活跃在 garak Discord 社区中,GitHub 问题也会得到积极回应和处理。如需进一步帮助,可通过提供的 NVIDIA 邮箱联系。

适用场景:适用于需要评估 LLM 或系统安全性的场景,许多公司已基于 garak 构建了成功产品,它也被独立文章推荐为行业标准。

限制:目前 garak 由 NVIDIA 支持,但作为研究主导的项目,尚未在 NVIDIA 主页上获得展示。网站内容采用 Apache 2.0 许可证。