用途:在整理或新增 AI 安全相关内容时,按统一结构归类工具与资源,并保持 README.md 的条目放置一致。
主要能力与覆盖范围:LLM 安全工具(护栏类如 NeMo Guardrails、LLM Guard、Rebuff;检测器类如 Vigil-LLM、Nova Framework、Garak;扫描器类如 ModelScan、AI Security Analyzer);对抗性机器学习库(攻击库 ART、CleverHans、Foolbox、TextAttack;防御库 SecML;模糊测试 OSS-Fuzz-Gen、Brainstorm);AI 红队工具(微软 Counterfit、PyRIT,Meta PurpleLlama,NVIDIA Garak、NeMo Guardrails);基准(Robustness 的 RobustBench、越狱 JailbreakBench、安全 Stanford AIR-Bench、幻觉 Vectara Leaderboard);标准与框架(MITRE ATLAS、NIST AI RMF、OWASP LLM Top 10 与 GenAI Security Project)。
归类规则:LLM 护栏/检测器归入 AI Security & Attacks → Model Security;提示注入工具归入 Prompt Injection;对抗性 ML 库归入 Adversarial Attacks 或 AI Security Libraries;AI 逆向/调试工具归入 AI Security Tools & Frameworks → AI Reverse Engineering;AI 漏洞扫描器归入 AI Vulnerability Detection;基准归入 Benchmarks & Standards;MCP 安全工具归入 AI Pentesting & Red Teaming → AI Security MCP Tools。
质量标准:优先收录权威仓库,避免收录无实质新增功能的 fork,为条目添加简短描述,不得重复已有 URL,工具须以 AI/ML 为核心。
使用方式:按上述分类规则整理条目,保持结构化改动最小化;如需具体工具、论文或资源的最新清单,可从 https://raw.githubusercontent.com/gmh5225/awesome-ai-security/refs/heads/main/README.md 获取完整列表。
限制:本指南仅覆盖分类与放置规范,具体工具的安装、配置、收费与效果等细节暂未提供,需另查对应项目文档。