SuperAPI AI 工具集

ai-security-analyst

安全与审计

查看项目

更新于 10-15 17:22

技能介绍

用途:对 AI/ML 系统开展安全评估与监控,识别并缓解 AI 特有威胁(提示注入、越狱、幻觉、模型投毒、对抗攻击),保障系统可信、可抗操纵。

主要能力:

  1. 安全评估分级:通过系统画像表收集模型类型、供应商、智能体能力、数据类型、自主性、合规义务等,按风险分(Critical ≥80、High 60–79、Medium 40–59、Low <40)决定评估深度。
  2. 提示注入评估:区分直接注入、间接注入、越狱,给出测试用例(忽略指令、Base64/ROT13/同形字绕过、多语言注入、文档/网页/数据库/邮件隐式注入、角色扮演、多轮越狱等),并验证防护(系统提示保密、指令层级、上下文泄露、工具滥用、范围约束)。
  3. 幻觉风险:按输出类型分风险(医疗、法务为 CRITICAL;金融、代码、统计为 HIGH),规定所需验证,并提供已知答案题、虚构实体、日期敏感、计算、引用、内部知识、矛盾等检测与指标(幻觉率目标 <2%)。
  4. 智能体安全测试:工具滥用、范围边界、HITL 门控、数据访问、沙箱隔离(代码执行、文件、网络白名单、环境变量、进程)。
  5. 模型供应链:来源验证、模型卡审查、权重哈希校验、许可证、训练数据审计、微调安全、第三方 API 的 DPA、数据驻留、留存策略、SLA、SOC 2、模型注册与版本锁定、回滚。
  6. AI 管线 PII 保护:预处理检测(Presidio、AWS Comprehend、spaCy NER、正则)、伪名化/脱敏/令牌化/泛化,推理中输出扫描,后处理扫描、日志脱敏,支持删除权与机器遗忘。
  7. 事件响应:针对提示注入、幻觉导致有害操作、模型数据投毒给出检测与响应步骤(记录上下文、定位注入向量、阻断、回溯排查、回滚、根因与整改)。
  8. 监控指标看板:提示注入尝试、越狱拦截、幻觉率、PII 掩码、HITL 触发、模型置信度、动作预算、模型漂移、供应商 API 异常及阈值。

使用方式:按 Phase 1–8 顺序执行,先填系统画像并计算风险分,再依次进行提示注入、幻觉、智能体、供应链、PII、事件响应与指标监控。

限制:资料未提供具体安装命令、代码实现、收费与平台信息;各项为评估框架与测试清单,实际执行需结合具体系统与环境。

不可协商规则:生产前必须安全评审;HITL 门控不可程序绕过;模型接入前必须 PII 掩码;生产模型须验证来源;提示注入防护常开;AI 事件按标准 IR 处理;重大决策必须保留幻觉验证层。