SuperAPI AI 工具集

awesome-llm-security

awesome-llm-security 是一个由 corca-ai 维护的精选资源集合,专门收录关于大语言模型(LLM)安全的工具、文档和项目。该仓库以分类清单的形式组织内容,涵盖学术论文、开源工具、文章和其他相关资源,旨在为研究者和开发者提供 LLM 安全领域的研究导航。其内容涉及白盒攻击、黑盒攻击、后门攻击、指纹识别、防御、平台安全和基准测试等多个主题。仓库欢迎社区贡献,并建议贡献者先阅读贡献指南。

访问官网

工具介绍

用途

awesome-llm-security 是一个面向大语言模型(LLM)安全领域的精选资源列表。它汇集了与 LLM 安全相关的工具、文档和项目,帮助研究人员、开发者和安全从业者快速了解和导航该领域的关键资料。

主要能力

该仓库以清单形式组织内容,主要分为以下几个部分:

  • 论文(Papers):收录了关于 LLM 安全的研究论文,并按主题进一步分类,包括:

    • 白盒攻击(White-box attack)
    • 黑盒攻击(Black-box attack)
    • 后门攻击(Backdoor attack)
    • 指纹识别(Fingerprinting)
    • 防御(Defense)
    • 平台安全(Platform Security)
    • 调查(Survey)
    • 基准测试(Benchmark)
  • 工具(Tools):列出多个用于测试、评估和增强 LLM 安全的开源工具,例如 Plexiglass、PurpleLlama、Rebuff、Garak、LLMFuzzer、LLM Guard、Vigil、jailbreak-evaluation、Prompt Fuzzer、WhistleBlower、Open-Prompt-Injection、Agentic Radar 等。

  • 文章(Articles):提供关于 LLM 安全威胁、攻击面和防御的阅读材料,如 Prompt Injection Cheat Sheet、OWASP Top 10 for LLM Applications、PoisonGPT 等。

  • 其他精选项目(Other Awesome Projects):包括 LLM 安全初创公司、对抗性提示(Adversarial Prompting)、LLM 安全竞赛等。

  • 其他有用资源(Other Useful Resources):如漏洞赏金计划(0din GenAI Bug Bounty)、提示注入游戏(Gandalf)、CVE 漏洞、社交媒体账号、博客和新闻通讯。

使用方式

用户可以直接访问 GitHub 仓库,通过目录导航浏览感兴趣的分类。仓库内提供了每篇论文和工具的链接(如 [paper]、[repo]、[site] 等),方便进一步查阅。仓库还提到通过 Moonlight 分享 PDF,提供论文摘要和原文。

适用场景

  • 学术研究:快速查找 LLM 安全领域的相关论文和基准测试。
  • 安全评估:获取用于测试 LLM 安全性的工具和框架。
  • 威胁情报:了解最新的攻击手法、防御策略和安全事件。
  • 教育培训:作为学习 LLM 安全知识的资源列表。

限制

  • 该仓库本身是一个资源列表,不提供直接的安全解决方案或代码实现。
  • 收录的论文和工具的具体功能、效果、收费情况等需参考各自链接,本仓库未提供详细信息。
  • 部分资源可能随时间推移而过时,建议关注更新。

贡献

仓库欢迎社区贡献,贡献前需阅读贡献指南(Contribution Guidelines)。