用途:对 QEDGen 审计技能进行可移植的基准评测,在已脱敏的 Solana 程序上测量审计能力,同时避免把已标注的漏洞发现泄漏给审计工作进程。需要由场地提供基准目录,不假定特定主目录或代理框架。
主要能力:要求提供规范审计技能目录、符合 schemas/corpus-manifest.schema.json 的语料清单(含仓库、审计提交、程序根、运行时、安装/测试命令、脱敏规则、标注发现、可选领域期望、条目难度)、显式基准输出目录、审计配置与运行次数,以及允许时指定发现与评判模型标识。默认一个语料条目、两次独立审计运行;高保证基准用三次;禁止无界循环。本地领域回归基线使用 fixtures/domain-corpus/ 下七个标注夹具,评分前运行 fixtures/domain-corpus/validate.sh。
使用方式:按条目流水线执行——建立实时基线、独立脱敏、运行 scripts/preflight.sh 确定性预检、派发干净审计工作进程、重跑证据、归一化与调和、评分、检测无效运行。归一化报告遵循 schemas/normalized-report.schema.json,评分结果写入 schemas/score.schema.json。产物放入基准输出目录后运行 skills/qedgen-auditor-bench/schemas/validate.sh <benchmark-output-dir> 校验,未通过校验的运行不算已评分。
适用场景:技能回归、模型回归、端到端发布评分;比较时须保持每层条目数一致,否则标记比较无效。
限制:模型标识以 references/model-selection.md 为唯一来源;OpenAI 工作进程可能因网络安全策略中断,须归类为 policy-interfered;不得把假设计为真阳性,不得把已修复真值计为漏报;第三方漏洞细节不得自动发布或提交,需负责任披露。