SuperAPI AI 工具集

calibrate-rubric

智能体与模型

查看项目

更新于 10-23 23:07

技能介绍

用途

calibrate-rubric 用于对已编译的 CocoPod 规则进行校准。它读取近期的 rubric 结果历史,并据此更新每条 rubric 条目的校准元数据,从而识别出那些在实际操作中从未触发的规则。

主要能力

  • 读取近期的 rubric 结果历史。
  • 为每条 rubric 条目更新校准元数据。
  • 对规则进行状态标记:
    • 若某条规则被评估的样本全部得分不高于 0.4,则标记为 never_fires。
    • 若某条规则没有任何样本,则标记为 insufficient_evidence。
  • 校准过程不会重写指令文本。

使用方式

通过调用 $cocopod calibrate-rubric 来执行该校准流程。

完成标准

  • 每条 rubric 条目都具备样本数量、观测到的最大概率、状态以及校准时间戳。
  • 校准不会重写指令文本。

适用场景

适用于需要根据实际操作历史评估 CocoPod 规则触发情况、并识别从未触发规则的场景。

限制与注意事项

  • 校准基于观测到的操作,而非墙钟时间(wall-clock age)。
  • 不应将没有样本的规则标记为从未触发:没有证据与低分证据是不同的。