SuperAPI AI 工具集

awesome-ai-security-reference

安全与审计

查看项目

更新于 10-15 14:55

技能介绍

用途 该技能是 Awesome AI Security 精选知识库的导航入口,面向希望系统学习或查阅 AI/ML 安全资源的用户。它按“学习路径 → 攻击向量 → 测试工具 → 工程实践”组织内容,便于按主题定位课程、论文、工具与代码示例。

主要能力 一、学习路径。ML 基础部分列出 Stanford CS229、fast.ai Practical Deep Learning、Deep Learning Specialization 等课程;深度学习理论部分列出 Dive into Deep Learning(d2l.ai)、Neural Networks and Deep Learning、Deep Learning Book(Goodfellow)。 二、攻击向量。涵盖提示注入(参考 OWASP LLM01:2025、Lakera Guide)、对抗攻击(Gradient Science 入门、NIST 对抗 ML 分类法)、数据投毒与后门(Witches' Brew、Instruction Backdoor Attacks、MNTD、Beatrix)、隐私攻击(Extracting Training Data、Membership Inference Survey、awesome-ml-privacy-attacks)。 三、安全测试与防御工具。包括 Garak(NVIDIA 的 LLM 漏洞扫描器)、Rebuff(自硬化提示注入检测器)、Vigil LLM、Counterfit、NeMo Guardrails(可编程护栏)、Purple Llama / Llama Guard、ai-evaluation 评估框架、Adversarial Robustness Toolbox(ART)、TextAttack 等,并给出相应安装命令与代码示例。 四、AI 渗透测试与漏洞检测。列出 PentestGPT(自主渗透测试)、GhidraGPT(AI 辅助逆向工程)、Semgrep(含 --ai-mode / --ai-assist)等。 五、OWASP LLM Top 10(2025)与评估基准。逐条列出 LLM01 至 LLM10,并给出 TrustLLM 基准的评估维度(真实性、安全性、公平性、鲁棒性、隐私、伦理)。

使用方式 这是参考仓库,可克隆到本地浏览,或使用交互式路线图: git clone https://github.com/muellerberndt/awesome-ai-security.git cd awesome-ai-security 交互式路线图地址:https://floatingpragma.io/awesome-ai-security 资料中给出了各工具的安装与调用示例,例如: pip install rebuff pip install garak garak --model_type openai --model_name gpt-3.5-turbo --probes promptinject pip install vigil-llm PentestGPT:git clone https://github.com/GreyDGL/PentestGPT.git,随后 pip install -r requirements.txt,配置 OPENAI_API_KEY 后运行 python pentestGPT.py。 Semgrep:pip install semgrep,可使用 semgrep --config=auto --ai-mode,或通过 .semgrep.yml 自定义规则。

适用场景 适合作为 AI 安全学习路线图、LLM 安全评估与测试的工具索引、防御与护栏选型参考,以及渗透测试与代码漏洞检测的入门指引。资料亦按初级、中级、高级给出学习顺序建议。

限制 本技能是对该精选列表的导航,本身不提供所列举工具的安装保障、效果承诺或平台说明;各工具的具体功能、许可与收费情况暂未提供。资料中的代码为示例,实际运行需自行确认依赖、模型接口与配置;测试时需注意 API 速率限制,可通过增加请求间隔、缩小数据集或使用本地模型缓解。