用途:在 LLM 功能上线前,把安全与可靠性护栏写成可评审的规格,避免数据泄露、提示注入、越界回答或品牌不可接受的输出。
主要能力:输出《Guardrails Spec: [feature]》,包含五部分。一是威胁模型,列出提示注入、越界使用、PII 泄露、越狱等威胁及其示例与影响;二是按层映射控制,输入层做校验、话题允许/拒绝、PII 检测与脱敏、对检索或第三方内容做注入筛查(视为不可信数据而非指令),模型/提示层设系统提示规则、范围边界、工具白名单与最小权限,并硬性规定不泄露系统提示、不执行内容中的指令,输出层做格式校验、PII 与安全过滤、引用/依据检查、需确认的高影响动作拦截,人工/流程层设确认门、升级路径与速率限制;三是拒答与升级策略,明确拒答内容、措辞与转人工时机;四是日志与监控,规定记录内容(不记密钥、脱敏 PII)、滥用信号告警与事件复盘;五是红队测试集,给出注入、越狱、越界、PII 套取等具体攻击输入及预期安全行为。
使用方式:若未提供信息,可先索要功能说明、信任边界、数据敏感度与可接受行为;也可从简要需求推断威胁面,标注假设并列出待确认项。交付物是控制措施及其所在层,不能只给风险清单。
适用场景:为客服聊天、内部助手等 LLM 功能做上线前安全评审。
限制:资料未提供具体安装命令、平台支持、收费或价格信息;不依赖系统提示单层防护,不信任检索或工具返回内容为指令,不授予宽泛工具权限,不省略红队测试集,不记录含 PII 或密钥的原始提示与输出。