SuperAPI AI 工具集

calibrating-thresholds-and-baselines

通用与其它

查看项目

更新于 10-16 06:15

技能介绍

用途:在信任或调优评分流水线前,验证“特征—基线常量—标记”三层是否真的具备区分能力,避免流水线运行正常却对每个输入都给出看似笃定的标记。

主要能力:

  • 审查已提交的基线是否为人工估算,是否有重生成脚本、精度是否合理、是否存在重复副本、描述总体与实际打分总体是否一致。
  • 核对特征计算单位与常量单位是否一致(如按字符 vs 按词),并排查长度混淆导致的归一化不匹配。
  • 用已知正常样本打印 z 分数分布,确认中位数接近零、分布有变化,而非“又大又几乎恒定”。
  • 按类别统计每个标记的触发率,识别对两类均近乎全触发或零触发的无信息标记。
  • 重渲染报告时不重新打分,保留持久化分数与原始运行元数据,并校验输入未被改动。
  • 检查评分构成可分解,每个特征族只计一次;重放标记层时先验证能否复现已保存输出。
  • 阈值扫描需支持高异常与低异常两个方向,并覆盖阈值读取的每个统计量;复合规则需逐谓词并联合检查。
  • 区分特征是否承载决策还是仅进入警告列表,并在变更说明中解释混淆矩阵未变的原因。

使用方式:技能以 Python 代码检查为主,包括列举持久化记录键、按类别计数触发、重放基线函数比对、以及渲染报告前后校验输入字节未变。示例命令保持原样,如 render_report(scores_path=inputs[0], metadata_path=inputs[1], output="report.md") 与断言 assert not mismatches, f"saved flags differ from base replay: {mismatches}"。

适用场景:评分、异常检测、置信度与阈值标记类流水线的校准与评审,尤其适合存在基线常量文件与多类别标签的项目。

限制:资料仅提供方法与检查清单,未提供具体安装命令、收费、价格、平台或效果数据;部分实现细节需结合项目实际代码确认。