SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场owasp-ai-testing

owasp-ai-testing

安全与审计

查看项目

更新于 10-15 13:48

技能介绍

用途

该技能使 AI 智能体能够使用 OWASP 基金会于 2025 年 11 月发布的 OWASP AI Testing Guide v1，对 AI 系统执行系统化的可信度测试。该指南被称为业界首个面向 AI 可信度测试的开放标准。与仅列出风险“是什么”的漏洞清单不同，该指南提供的是“如何测试”AI 系统的实用、可重复的方法论，建立了跨 4 个层面的 32 个测试用例，每个用例包含目标、载荷、可观察响应和修复指引。

其核心原则是：“安全并不充分，AI 可信度才是真正目标。” AI 系统失败的原因超出传统安全范畴，包括偏见、幻觉、错位、不透明和数据质量问题。

主要能力

四层测试框架

指南将 32 个测试用例分布在四个层面：

  • AI 应用层（AITG-APP-01 至 AITG-APP-14，共 14 个）：提示、接口、输出、代理行为
  • AI 模型层（AITG-MOD-01 至 AITG-MOD-07，共 7 个）：鲁棒性、对齐、隐私
  • AI 基础设施层（AITG-INF-01 至 AITG-INF-06，共 6 个）：供应链、资源、边界
  • AI 数据层（AITG-DAT-01 至 AITG-DAT-05，共 5 个）：训练数据、隐私、多样性

每个测试用例包含目标、载荷/流程、可观察响应、严重性指引与修复建议。完整目录（含载荷与 P0–P2 优先级索引）位于 references/test-cases.md，建议按所测层面分段阅读，而非一次性加载全部 32 个用例。

按系统类型选择用例

  • LLM/聊天机器人：全部 APP + INF-01/02/03
  • ML 分类器：全部 MOD + DAT-03/04
  • RAG：APP-02/03/08 + DAT-01/02
  • AI Agent：APP-06 + INF-03/04
  • 所有系统：始终包含 DAT-05（隐私/同意）

使用方式

所需输入

  • ai_system_description：AI 系统描述（类型、用途、架构、所用模型）【必需】
  • system_architecture：技术架构（API、模型、向量存储、插件、数据管道）【可选但推荐】
  • testing_scope：测试层面（Application、Model、Infrastructure、Data 或 All）【可选，默认 All】
  • model_details：模型提供方、版本、微调细节、托管方式【可选】
  • data_details：训练数据来源、向量数据库、数据管道【可选】
  • existing_controls：当前安全与可信度措施【可选】
  • risk_context：数据敏感性、监管要求、部署环境【可选】
  • testing_authorization：主动测试的明确授权、环境与边界【对实时或主动测试为必需】
  • safe_testing_mode：documentation-only、staging、production-readonly、production-approved【可选，授权不明确时默认 documentation-only】

授权边界

仅对用户拥有或获得明确授权测试的系统执行主动测试。若 testing_authorization 缺失或不明确，应限于架构评审、检查表评估和安全假设性载荷示例。对生产系统：优先只读验证或使用预发布环境；除非有书面授权和明确范围，不尝试破坏性、持久化、拒绝服务或数据外泄测试；报告中隐去凭据、密钥、PII 和敏感输出；若测试超出批准范围，应停止并报告。

测试流程

  1. 范围与规划（约 15 分钟）：理解系统，识别 AI 组件、数据流与信任边界；按系统类型选择用例；准备测试环境、监控与基线。
  2. 执行测试用例（约 60–90 分钟）：逐层执行。应用层 25–35 分钟；模型层 15–20 分钟；基础设施层 10–15 分钟；数据层 10–20 分钟。记录证据（截图、日志、载荷）与严重性。
  3. 风险评估（约 15 分钟）：按严重性分级并给出响应时间——Critical（可被利用且影响大）：即时；High：7 天；Medium：30 天；Low：90 天；Info：待办。
  4. 报告生成（约 20 分钟）：汇总为结构化报告。

输出格式

结果编译为 OWASP AI Testing 评估报告，可复制模板位于 references/report-template.md。报告覆盖：执行摘要（整体可信度评级、按层的执行/通过/失败/不适用覆盖表、关键发现）；详细测试结果（每用例 PASS/FAIL/PARTIAL/N/A、严重性、证据、发现、建议）；修复路线图（按严重性分阶段：Critical 0–7 天 / High 7–30 天 / Medium 30–90 天）；可信度评估（Security、Fairness、Privacy、Reliability、Explainability、Safety 各维度状态）；后续步骤（修复、复测、CI/CD 集成、持续监控）。

适用场景

  • 对 AI/ML 系统进行渗透测试
  • 生产部署前验证 AI 可信度
  • 为 AI 应用构建自动化测试套件
  • 针对 AI 功能开展红队演练
  • 准备 AI 安全审计或认证
  • 测试 RAG 系统、聊天机器人、智能体或 ML 管道
  • 评估模型鲁棒性与对抗抵抗能力
  • 评估数据质量、偏见与隐私合规
  • 验证 AI 供应链安全
  • 在模型更新、微调或数据变更后进行测试

可结合 “OWASP LLM Top 10” 做漏洞识别、“NIST AI RMF” 做风险管理、“ISO 42001 AI Governance” 做治理合规。

最佳实践

尽早且频繁测试，将 AI 测试纳入开发生命周期；分层测试，覆盖全部 4 层而非仅应用层；尽可能自动化，在 CI/CD 中构建可重复测试套件；以攻击者思维设计测试；超越安全，测试公平性、可解释性与可靠性；完整记录证据以备合规与审计；变更后复测；持续监控；保持更新；让安全、ML、伦理与领域专家共同参与。

限制

主动测试必须获得明确授权，否则只能进行文档级评估。生产系统上除非书面授权，禁止破坏性、持久化、拒绝服务或数据外泄测试。当前版本为 1.0（对应 OWASP AI Testing Guide v1，2025 年 11 月）。