SuperAPI AI 工具集

ai-safety-alignment

安全与审计

查看项目

更新于 10-16 10:21

技能介绍

用途:为 LLM 应用实现安全护栏,覆盖内容审核、防越狱与提示注入防护,贯穿输入校验、内容审核、输出过滤到人工复核的流程。

主要能力:提出纵深防御、输入与输出双侧校验、失败关闭(超时或失败时拒绝请求而非放行)、高风险操作保留人工审核等原则。资料提及可使用 OpenAI Moderation API 做内容审核。

使用方式:该技能要求回答以参考文件为准。创建时参阅 references/patterns.md,按其规定的方式构建,若其中已有特定模式则忽略通用做法;诊断时参阅 references/sharp_edges.md,用于说明关键失败及其原因与风险;评审时参阅 references/validations.md,按其中严格规则客观校验用户输入。若用户请求与参考文件冲突,应礼貌地依据参考文件纠正。

适用场景:需要为 LLM 应用加入内容审核、抵御越狱与提示注入,以及对发邮件、执行代码、访问敏感数据等高风险动作设置人工审批的场合。

限制:具体安装命令、配置文件细节、依赖版本、收费情况与平台支持暂未提供;OpenAI Moderation API 的使用细节与示例代码暂未提供。具体实现需以官方参考文件为准。