用途:Vaccinate 用于在检查器(评审智能体、门禁脚本等)被用来支撑重要决定(提交、发布、存证)之前,先证明它有能力检出其声称能捕获的缺陷类型。未经过资格考核的检查不构成弱证据,而是没有证据。
主要能力:定义失败类别;构建含种子的缺陷集合与干净对照;让检查器在盲态、全新上下文中逐份运行;按召回率、假阳性率、定位准确性和相对简单基线(如 grep、diff、单行断言)的增益打分;把结果写入质量台账。
使用方式:以斜杠命令调用,例如 /vaccinate check-model-versions.sh。先说明缺陷类别,再在副本上生成 N 个各含一个缺陷的变体及至少一份未修改的干净对照,逐个盲跑检查器,然后计分并追加台账行:| date | target | artifact | defect classes | N | recall | FPR | baseline | verdict |。结论分为 PASS、FAIL、BLOCKED;FAIL 意味着该检查无权支撑其结论,应修复检查而非放松种子。
适用场景:在有分量的决定前;修改检查器之后(改过的门禁需重新测量);对承载关键主张的门禁定期重跑,因为随产物漂移检出能力会衰退。
限制:必须使用副本,绝不在实时产物上操作;必须保留干净对照,否则测出的是召回率却当成准确率;运行需盲目且每次一个变体;单次单种子无法区分检出与运气,成本允许时每类至少两次重复;不得把测试告诉评审者,不得把任何发现都算命中。带外校验还应确认检查确实运行过、运行在当前对象而非缓存、未被跳过或吞掉、容差在比较前已固定。模型、提示、评分标准或目标人群发生实质变化后需重新做种子缺陷证明。科学判断类问题无法由合格检查替代。资料未提供具体价格、平台支持范围与安装命令。