SuperAPI AI 工具集

red-teaming-llms-with-garak

智能体与模型

查看项目

更新于 10-16 01:31

技能介绍

用途:garak(Generative AI Red-teaming and Assessment Kit)是 NVIDIA 维护的开源 LLM 漏洞扫描器,类似面向大模型的网络漏洞扫描器。它向目标模型发送大量对抗性提示(探针),用检测器判定每次尝试是否成功,适用于部署前后的基线安全评估、验证护栏或安全微调效果、为 AI 风险评估提供证据、排查 OWASP LLM Top 10 风险,以及在 CI 中做回归测试。

主要能力:探针家族覆盖提示注入(promptinject、latentinjection)、越狱(dan)、训练数据与系统提示泄露(leakreplay)、恶意代码生成(malwaregen)、XSS 载荷(xss)、编码绕过(encoding)、毒性等。生成器无关,可针对本地 Hugging Face 模型、OpenAI 兼容 API、AWS Bedrock、Replicate、Cohere、NIM、GGUF/llama.cpp 及任意 REST 端点。运行后生成 .report.jsonl、.report.html、garak.log 和命中日志,终端打印按探针与检测器的通过/失败及命中率。对应 MITRE ATLAS 的 AML.T0051(提示注入)与 AML.T0054(越狱),支持 NIST AI RMF MEASURE-2.7。

使用方式:需 Python 3.10+(推荐 3.12)与虚拟环境,安装命令为 python -m pip install -U garak,随后 garak --version 验证。用 garak --list_probes、--list_detectors、--list_generators 枚举组件。示例:python -m garak --target_type huggingface --target_name gpt2 --probes dan.Dan_11_0;OpenAI 兼容 API 需 export OPENAI_API_KEY 后指定 --target_type openai;任意 REST 端点通过 JSON 生成器配置(-G rest.json)接入。可用 --generations、--parallel_attempts 控制采样与并发,用 --config 固定 YAML/JSON 配置实现可重复评估。

限制:仅限获得书面授权的自有模型、密钥与端点;自动探测第三方 API 可能违反服务条款并产生计费 token,未经授权探测可能违法。探针会产生数千次调用,成本与耗时较高;全量扫描更慢更贵。资料未提供具体价格、平台支持范围之外的细节或效果保证。