SuperAPI AI 工具集

guard

通用与其它

查看项目

更新于 10-15 21:06

技能介绍

用途:guard 用于给工作流添加安全边界,防止恶意输入、非预期输出、数据泄露、成本失控以及自主系统在真实环境中可能出现的各类问题。适用于部署到生产、处理敏感数据,或工作流需要安全约束、输入校验与安全边界的场景。

前置要求:必须先调用 /agent-workflow,其中包含工作流原则、反模式与 Context Gathering Protocol;若尚无工作流上下文,必须先运行 /teach-maestro。完整纵深防御框架参见 agent-workflow 技能中的 guardrails-safety 参考。

主要能力:先做威胁评估,识别提示注入、PII 泄露、成本爆炸、未授权操作、幻觉、服务滥用等风险及对应防护类型。随后实施四类防护:输入防护(模式校验、大小限制、注入模式清洗、速率限制、认证授权检查);输出防护(模式校验、PII 扫描、内容策略检查、置信度阈值、来源标注);成本防护(预算检查、请求成本估算、超预算则拒绝或改用更便宜方案、调用后更新已用额度、熔断检查);权限防护(工具是否允许、破坏性操作需确认、数据授权检查、访问审计日志)。

检查清单:所有输入在处理前校验、所有输出做 PII 检测、设置并执行成本上限、启用提示注入防御、破坏性操作需确认、所有访问记录审计、外部服务设熔断、所有端点设速率限制。

后续建议:添加防护后,用对抗性测试场景运行 /evaluate 验证防护在攻击下是否有效。

限制与禁止事项:不得在无输入校验的情况下部署;不得在高风险决策中未经核实就信任模型输出;不得在无成本控制下运行;不得跳过日志(需要审计轨迹);不得假设模型会 100% 遵守安全指令。具体实现细节与完整代码示例暂未提供。