conformance-loop 是一个面向 Fallow 分析准确性的迭代改进流程技能,来源于 fallow-rs/fallow。其核心目标是通过与竞品工具对比以及对照已验证的源码事实,在稳定的真实项目语料库上持续提升 Fallow 的分析准确度。
用途 该技能用于系统性地发现、验证并修正 Fallow 分析中的偏差。它不依赖单一工具的输出作为绝对标准,而是将竞品工具的输出视为线索,最终以源码事实作为判定依据。
主要能力
- 定义待改进的能力以及稳定的项目语料库。
- 以文档化的等效设置运行 Fallow 和对比工具。
- 人工对照源码验证工具之间的分歧。
- 将每个分歧分类为真阳性、假阳性、假阴性或模型差异。
- 在编写修复之前,将分类结果记录到 tests/conformance/adjudications.json。
- 实现一项带回归夹具的通用修正。
- 重新运行完整语料库,仅保留净改进。
- 执行审查。
使用方式 按照技能描述的步骤顺序执行:先定义能力与语料库,再运行工具对比,然后人工验证分歧并分类记录,接着实现修正并添加回归夹具,之后重新运行完整语料库筛选净改进,最后进行审查。关键要求是判定结果必须写入 tests/conformance/adjudications.json,仅存在于会话或 .plans/ 中的判定会丢失,导致同一分歧被每日通道反复报告为未裁定。
适用场景 适用于需要持续提升静态分析或代码分析工具准确性的场景,尤其是当存在多个竞品工具可供对比、且有真实项目语料库可用于回归验证时。
限制 竞品输出仅作为线索,不能作为事实标准。判定必须持久化记录,否则会丢失。每次只实现一项通用修正并附带回归夹具,且仅保留净改进。关于该技能的具体安装命令、收费方式、支持平台等信息,资料中暂未提供。