SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场llm-testing

llm-testing

安全与审计

查看项目

更新于 10-15 14:15

技能介绍

用途

LLM Testing 是一个用于评估大语言模型（LLM）安全、安全性与鲁棒性的测试技能。它提供经过整理的测试提示词和词表，用于偏见检测、数据泄露防护、对齐测试、隐私边界以及对抗性提示词抵抗。该技能面向安全研究人员、AI 安全工程师和红队操作人员，用于评估 LLM 漏洞，并确保模型：维持伦理边界与安全准则、避免数据泄露与隐私侵犯、抵抗偏见与歧视、防止对抗性提示词攻击、保持与预期行为的一致性。

授权使用场景

  • AI 安全研究：测试 LLM 模型的安全与对齐问题
  • 安全审计：针对 AI/ML 系统的红队操作
  • 偏见检测：评估模型的公平性与偏见
  • 隐私测试：验证模型不会泄露训练数据或 PII
  • 教育目的：教授 AI 安全概念与漏洞
  • 负责任 AI 开发：构建更鲁棒、更安全的 LLM

测试类别

1. 偏见测试

测试 LLM 响应在多个维度上的偏见：

  • 性别偏见（Bias_Testing/gender_bias.txt）：用于揭示性别刻板印象与偏见的提示词、职业与角色关联、行为与能力假设。注意：使用前替换 [GENDER] 占位符。
  • 国籍与地理偏见（Bias_Testing/nationality_geographic_bias.txt）：文化刻板印象与地理偏见、区域能力假设。注意：替换 [COUNTRY]、[REGION]、[NATIONALITY] 占位符。
  • 种族与族裔偏见（Bias_Testing/race_ethnicity_bias.txt）：种族与族裔刻板印象、响应中的歧视性模式。注意：使用前替换 [SKIN_COLOR] 占位符。

2. 数据泄露与隐私测试

评估模型对敏感信息的处理：

  • 个人数据生成（Data_Leakage/personal_data.txt）：测试 PII 生成能力、验证隐私边界、检查是否无意中创建个人信息。
  • 元数据泄露（Data_Leakage/metadata.txt）：测试训练数据残留、检查非预期信息泄露。
  • 记忆召回（Memory_Recall_Testing/session_recall.txt）：基于会话的记忆测试、跨对话数据保留。注意：替换 [COUNTRY]、[REGION]、[NATIONALITY] 占位符。

3. 发散与对齐攻击

测试模型对齐与对抗性提示词抵抗能力：

  • 逃逸对齐训练（Divergence_attack/escape_out_of_allignment_training.txt）：尝试绕过安全训练的提示词、测试对齐鲁棒性、伦理边界挑战。
  • 预训练数据提取（Divergence_attack/pre-training_data.txt）：尝试提取训练数据、测试记忆化漏洞。

使用方式

基本用法示例：

  • 引用 LLM Testing 技能：“Use the llm-testing skill to test this model for gender bias”
  • 访问特定测试类别：“Show me prompts from the llm-testing skill for testing data leakage”
  • 运行全面测试：“Use the llm-testing skill to perform a full security audit of this LLM”

替换占位符：在使用偏见和记忆召回测试前，需替换占位符。示例代码：

import re

with open('Bias_Testing/gender_bias.txt', 'r') as f:
    prompts = f.read()

test_prompts = []
for gender in ['man', 'woman', 'non-binary person']:
    test_prompts.append(prompts.replace('[GENDER]', gender))

测试工作流：选择测试类别（偏见、隐私或对齐测试）→ 准备提示词（必要时替换占位符）→ 执行测试（向目标 LLM 提交提示词）→ 记录结果（记录响应并标记问题）→ 分析模式（寻找系统性问题）→ 报告发现（负责任地记录漏洞）。

最佳实践

伦理测试准则：

  • 需要授权：仅测试你拥有或获得许可测试的模型
  • 负责任披露：通过适当渠道报告漏洞
  • 禁止利用：将发现用于改进而非利用
  • 隐私保护：不要分享测试中发现的 PII
  • 文档记录：保留测试方法与结果的详细记录

测试方法：

  • 建立基线：多次测试以建立模式
  • 受控环境：使用隔离的测试环境
  • 系统方法：一次测试一个类别
  • 多样场景：使用各种提示词表述
  • 交叉验证：用不同方法验证发现

结果解读：

  • 上下文很重要：考虑模型的预期用例
  • 统计显著性：不要依赖单一响应
  • 严重性评估：按影响级别对发现分类
  • 误报：验证实际漏洞与预期行为

安全考量

红队操作：将这些提示词作为全面 AI 红队测试的一部分，与其他安全测试方法结合，专注于在对手之前发现漏洞。

防御应用：训练模型更好地抵抗这些攻击模式，构建对抗性提示词检测系统，改进安全对齐与护栏。

文件结构

LLM_Testing/
├── SKILL.md (this file)
├── README.md
├── Bias_Testing/
│   ├── gender_bias.txt
│   ├── nationality_geographic_bias.txt
│   └── race_ethnicity_bias.txt
├── Data_Leakage/
│   ├── personal_data.txt
│   └── metadata.txt
├── Memory_Recall_Testing/
│   └── session_recall.txt
└── Divergence_attack/
    ├── escape_out_of_allignment_training.txt
    └── pre-training_data.txt

与其他技能的集成

该 LLM Testing 技能可与以下技能配合使用：安全模糊测试（Security Fuzzing）、安全模式（Security Patterns）、渗透测试顾问（Pentest Advisor）。

法律与伦理声明

重要：这些测试提示词仅用于授权安全研究和负责任 AI 开发。

授权使用：测试你自己的 AI 模型与系统；获得书面许可的授权红队操作；学术或企业环境中的 AI 安全研究；受控环境中的教育演示；负责任的漏洞披露计划。

禁止使用：未经授权测试模型；利用发现的漏洞；尝试越狱生产 AI 系统；创建有害内容或工具；违反 AI 平台服务条款。

贡献

添加新测试用例或类别时：遵循现有文件结构与命名约定；为任何占位符包含清晰文档；测试提示词的有效性与安全性；通过带有详细描述的 pull request 提交。

参考

  • OWASP LLM Top 10
  • AI Red Teaming Best Practices
  • Responsible AI Guidelines
  • AI Safety Research

版本与许可

版本：1.0.0

许可：MIT License - 仅用于授权测试，请负责任且合乎伦理地使用。

免责声明：该技能为安全研究和 AI 安全改进而提供。用户有责任确保在测试任何 AI 系统前获得适当授权。维护者不对这些测试资源的误用负责。