用途：用标准化基准评估并对比 AI 系统的安全性、鲁棒性与隐私表现，对应 OWASP LLM01/02/04/05/09 与 NIST Measure。适用技能 benchmark-datasets，执行代理 04-evaluation-analyst。
主要能力：
- 安全基准：HarmBench（400+ 有害行为，ASR/DSR）、ToxiGen（274k 样本）、RealToxicityPrompts（100k 提示）、BBQ（58k 样本，偏差分）、TruthfulQA（817 题，真实率/信息量）。
- 越狱基准：JailbreakBench（100 行为，含 jbb-behaviors 与标准评判）、AdvBench（520 有害行为/500 有害字符串）、WildJailbreak（1000+ 真实尝试），指标为攻击成功率与拒绝率。
- 对抗鲁棒性：RobustBench（CIFAR-10/100、ImageNet，Linf ε=8/255、L2 ε=0.5，AutoAttack 为金标准）、AdvGLUE、ANLI（163k 样本）。
- 隐私：成员推断（影子模型、似然比、仅标签攻击，AUC-ROC 与低 FPR 下 TPR）、训练数据抽取（前缀补全、定向抽取、金丝雀插入）、模型反演（SSIM）。
使用方式：资料给出 SafetyBenchmark、JailbreakBenchmarkRunner、RobustnessBenchmark、PrivacyBenchmark、CustomBenchmark 等示例类，通过 run_benchmark/run_all 执行并聚合评分；RobustnessBenchmark 可调用 autoattack 的 AutoAttack，TextAttack 的 TextFoolerJin2019。可参考评测面板展示安全、鲁棒性、越狱、隐私分数与总评分。
适用场景：模型发布前安全评估、CI/CD 自动化评测、Grafana 趋势可视化、领域定制安全基准（如金融 AI 拒绝未授权交易与凭证泄露）。
限制：资料未提供具体安装命令、依赖版本、收费与价格信息；未确定项暂未提供。结果复现需固定随机种子、记录模型版本并使用固定数据集；评测过慢可用子集抽样、并行化与缓存；评分不一致可增大样本量或做显著性检验。