用途:对 React Doctor 诊断在基准语料库(如 ReactBench)上的表现进行证据驱动的审计,找出已确认误报(FP)、漏报(FN)、分类法缺口(taxonomy gap)以及验证框架产物(harness artifact)。
主要能力:读取规则文档、量化失败分布、检查每个试次产物,并独立进行第二遍复核以发现更多误报与漏报。按保守标准分类:确认FP需诊断针对变更代码且规则不适用;确认FN需真实缺陷存在且应由已有文档规则覆盖;分类法缺口指缺陷无现有规则可覆盖;验证器产物指格式错误、过期基线、生成文件或未变更文件导致的诊断。每项确认结论需引用试次、文件、行/代码跨度、规则文档、诊断差量、任务行为与测试结果,并区分严格规则漏报与超出分类法的缺口。
使用方式:依赖本地基准目录与在线规则文档,使用 rg --files 枚举试次产物;重算 rd.log、rd-before.json、rd-after.json 的分布;优先检查高覆盖规则与引入诊断失败。审计产物写入基准目录的 audit/ 下,包括 rd-0.9.3-second-pass.md、rd-0.9.3-second-pass.jsonl、rd-0.9.3-rule-distribution.tsv。JSONL 每条记录包含 id、classification、confidence、rule、task、trial、file、lines、evidence、baselineDiagnostics、headDiagnostics、testStatus、rdStatus、rationale、recommendedAction。Markdown 报告须含语料/方法、分布、确认FP、确认FN、分类法缺口、验证产物、人工裁决候选、优先规则修复与限制。
适用场景:React Doctor 诊断质量评估、基准语料库审计、规则误报漏报分析。
限制:不得修改 React Doctor 源码、基准源码、任务测试或验证器数据;不得将目标任务未命中称为漏报,不得仅因模型测试失败称诊断误报;未提供具体收费、价格或平台信息。