SuperAPI AI 工具集

prompt-governance

安全与审计

查看项目

更新于 10-15 17:28

技能介绍

用途:该技能面向 AI 治理,帮助审计提示词中的安全、偏见与注入风险,并管理带版本控制的已批准提示词目录,适合规模化部署 LLM 应用的团队。

主要能力:提供两个工具。prompt_auditor.py 用于审计提示词的注入、偏见与安全等问题,支持 --file、--text、--checks、--format 参数。prompt_catalog_manager.py 用于管理提示词目录,支持 --init 初始化、--add 添加、--list 列出、--diff 比较版本,以及 --catalog-dir 指定目录。

使用方式:审计时运行 python scripts/prompt_auditor.py --file system_prompt.txt,或指定检查项 python scripts/prompt_auditor.py --text "You are a helpful assistant..." --checks injection,bias,safety。管理目录时先初始化 python scripts/prompt_catalog_manager.py --init --catalog-dir ./prompts,再添加 python scripts/prompt_catalog_manager.py --add --name "customer-support-v1" --file prompt.txt --catalog-dir ./prompts,列出 python scripts/prompt_catalog_manager.py --list --catalog-dir ./prompts。

流程与检查项:建议流程为编写或修改提示词、运行审计、复核问题、添加至目录、从目录部署。版本管理建议使用语义化版本,升级前用 --diff 比较,保留变更审计记录,发现问题可回滚。治理检查项包括无注入漏洞、无有害内容生成风险、适当偏见缓解、清晰范围边界、输出格式约束与错误处理说明。

限制:审计或建目录前需确认目标提示词、任务是审计还是目录管理、检查重点,若未知或含糊应先询问,不要假设。资料未提供收费、价格、平台、效果或更详细安装步骤信息。