SuperAPI AI 工具集

differential-audit

编程与开发

查看项目

更新于 10-16 03:17

技能介绍

用途:比较同一事物的两种实现,例如跨语言移植(R↔Python↔Stata)、重新实现、复现包、重构或新版本对旧版本。核心立场是:两种实现一致只能证明它们满足预先设定的契约,不能证明任一实现正确,也不能验证方法或其假设;尤其当一方是照着另一方写的时,双方可能以相同方式出错。

主要能力与步骤:1)先声明比较对象、哪一侧是参照,以及一致能说明什么、不能说明什么;"与 R 包一致"是符合性声明而非正确性声明。2)在查看任何结果前冻结输入:数据版本或哈希、代码与包版本、随机种子或已实现的样本划分、选项与默认值、待比较输出、验收阈值;不要跨系统直接比较默认值,默认值通常是实质性建模决策。3)声明有约束力的容差类别:EXACT(名称、顺序、样本掩码、计数、状态、返回/错误码、警告类别、选项默认值,经文档化归一化后逐字节相等)、标量数值、矩阵/向量、随机性输出;更宽松的容差只能通过记录在案的获批偏差使用。4)建立交叉映射与输出清单,列出每个预期输出及行/单元格数。5)构造能隔离机制的用例:已知真值、脏数据(缺失、不平衡、近共线、极端但合法权重、乱序、并列)、复合问题、已发表示例、随机化有效设计。6)先测试比较器本身:喂入错误值、缺失结果、错位行、空结果,它必须失败而非跳过。7)比较所有声明通道,包括估计、不确定性、样本数、标签与顺序、诊断、警告和失败状态。8)为每个分歧分配稳定 ID 与最小可复现见证,并分类为缺陷/有意差异/参照局限/未解决;未解决保持红色。9)由独立评审者添加未事先共享的设计。10)以独立的科学性与实现性签署收尾,记录已运行检查、未决发现、已接受差异、明确非声明及批准发布者。

限制:资料未提供具体安装命令、代码示例、平台支持、收费或价格信息;该方法本身不验证方法正确性,只建立对冻结契约的符合性。