SuperAPI AI 工具集

red-team

编程与开发

查看项目

更新于 10-15 21:49

技能介绍

用途:对用户拥有或明确获授权测试的护栏、分类器、内容过滤器、提示词或 API 做对抗性压力测试,产出一份“不同失败类别”的目录。失败定义为目标与基准(oracle)判定不一致:绕过(目标放行而 oracle 拦截)或过度拦截(目标拦截而 oracle 放行)。

主要能力:以“循环直到枯竭”的方式运行。每轮针对尚未暴露的弱点构造对抗输入,经 tools/harness.py 同时送入目标与 oracle,记录每次不一致并按输入标注的根因类别去重。信号来自 harness 输出的 JSON:{tested, failures_this_run, new_classes, total_classes, examples}。攻击手法包括混淆(大小写、空格标点、leet、Unicode 同形字、编码)、改写同义词、边界与上下文嵌入、过度拦截探测等。

使用方式:先交互式确定绑定(target_cmd、oracle_cmd、candidates_file、failures_log、sandbox_root、budget 默认 8、patience 默认 2),写入 loop.run.yaml 并确认。每轮运行:python3 <skill_dir>/tools/harness.py --target "<target_cmd>" --oracle "<oracle_cmd>" --inputs <candidates_file> --log <failures_log>。候选为 JSONL {id, text, class}。类别按根因技术划分,如 case-bypass、leetspeak、spacing、missing-synonym、overblock,避免按载荷拆分导致计数虚高。连续 patience 轮无新类别或达到 budget 即停止,并在 ledger.tsv 记录。

适用场景:加固自有护栏、分类器、内容过滤、提示词或 API;默认需可运行的 oracle,若无则退化为依据书面策略的人工判断并记录预期判定。

限制:绝不修改目标、oracle 或 harness.py;失败必须是可复现的客观不一致;仅限授权系统;所有操作限制在 sandbox_root 内;本技能只做发现,不修复目标,修复与再验证由外部独立编码代理完成。