用途:为 LLM 稳健性压力测试生成对抗性输入、边界用例与一致性测试载荷,暴露模型在异常/边缘输入下的失败。
主要能力:按类别组织测试用例。linguistic(25 项,含同音异义、多义、范围歧义、语用含义);numerical(30 项,含除零、边界值、NaN/Infinity、负零);logical(20 项,含矛盾、信息不全、虚假前提);format(35 项,含编码混用、同形字、RTL 覆盖字符、零宽连接符、深层嵌套 JSON、畸形标记);consistency(15 项,同一问题多次提问测响应方差,阈值 0.1;语义等价对测语义相似度,阈值 0.9)。
附 AdversarialMutator 变异引擎(Python),提供 homoglyph、encoding、spacing 三种策略,使用 HOMOGLYPHS 字典与零宽字符集生成变体,并进行 Unicode 规范化。
测试协议分四阶段:BASELINE(10%,记录预期行为与对照用例)、GENERATION(30%)、EXECUTION(40%)、ANALYSIS(20%,计算失败率并按严重程度排序)。严重度分级:CRITICAL >20%、HIGH 10-20%、MEDIUM 5-10%、LOW <5%。提供 pytest 单元测试模板,用于同形字抵抗与一致性断言,并含故障排查建议(调整相似度阈值、批处理与缓存、temperature=0 确定性模式)。集成点为 Agent 03、/test adversarial 命令与 CI/CD 自动化回归。
限制:官方文档未提供安装命令、运行参数、依赖版本、平台与收费信息,暂未提供。