SuperAPI AI 工具集

ai-safety-testing

测试与质量

查看项目

更新于 10-16 01:34

技能介绍

用途:围绕安全政策、滥用类别、拒答/重定向、隐私、升级与人工风险决策,开展有证据边界的分析、设计或验证准备;评审 Agent、RAG 或 LLM 方案、结果与证据,形成可执行改进项。输入不完整时,交付带假设、信息缺口和人工决策边界的受限初版。

主要能力:固定政策 ID/版本/适用对象,建立“类别/条件→允许/限制/拒答/升级→可提供内容/禁止副作用→证据”矩阵;用危险样本与近邻正常请求配对,分别检查危险处理正确性、允许请求完成质量和过度拒答;核对限制/重定向的实际内容与工具动作;记录升级触发原因、责任角色与待人工决策状态。

使用方式:先阅读并遵循 prompts/ai-safety-testing.md,完成输入审计、领域覆盖与输出顺序;提取范围、环境、版本、时间窗口、约束、成功标准和可用证据;区分已确认事实、证据支持的推断、候选建议与人工决策,按风险与证据强度排序;将高风险项转为前置条件、步骤、预期结果或判断标准、所需证据和验证方法。默认输出 Markdown,按领域风险、证据状态、优先级和边界组织;用户要求表格、CSV、JSON 或工单格式时保留相同发现字段、证据与决策边界。评测时读取 evals/eval.yaml 与 evals/cases/ 下匹配用例;校准结果可读取 references/domain-decision-example.md。

适用场景:AI 安全政策与滥用类别评审、拒答与重定向行为验证、隐私边界与升级流程检查、人工风险决策准备。

限制:只分析上述安全领域,不替代业务负责人或人工的风险接受、例外批准与安全决定;不编造系统行为、字段、模型输出、数据、阈值、根因、执行记录或通过结论;静态设计、计划、文件存在或 dry-run 只能保留原证据状态,不能升级为真实执行证明;证据不足时使用待确认、blocked、unassessed 或 NOT_SCORED,并给出最小验证方法;涉及用户数据、生产或安全时采用最小权限、脱敏数据、mock、dry-run 或隔离环境。未提供执行输出保持 NOT_RUN,未知政策边界保持 UNKNOWN。