SuperAPI AI 工具集

prompt-injection-detector

安全与审计

查看项目

更新于 10-15 09:46

技能介绍

Prompt Injection Detector 是一个面向安全 LLM 应用的提示注入检测与防护技能(Skill),来源标识为 a5c-ai/babysitter。其目标流程为 prompt-injection-defense 与 tool-safety-validation,主要用于在 LLM 应用中识别并抵御提示注入攻击。

主要能力 该技能提供以下能力:检测提示注入尝试;实现输入净化;配置检测分类器;设计防御层;实现金丝雀令牌(canary token)检测;创建注入日志与告警。

检测方法 资料中列出的检测方法包括:模式匹配(针对已知注入模式)、ML 分类器(训练好的注入检测器)、金丝雀令牌(检测指令覆盖)、基于 LLM 的检测(使用 LLM 检测操纵行为)、困惑度分析(识别异常输入模式)。

防御策略 防御策略包括:输入预处理、提示结构设计、输出验证、沙箱执行、多层防御。

配置选项 可配置项包括:检测阈值、模式规则、分类器模型、动作策略、告警设置。

最佳实践 资料给出的最佳实践为:纵深防御、定期更新模式、监控误报、使用红队输入进行测试。

依赖项 依赖项包括:rebuff(可选)、transformers、自定义分类器。

适用场景与限制 该技能适用于需要防御提示注入、验证工具安全性的 LLM 应用开发与安全场景。关于具体安装命令、收费方式、价格、支持平台、实际效果或详细使用步骤,资料中暂未提供。