SuperAPI AI 工具集

meter-accuracy

数据与分析

查看项目

更新于 10-23 23:06

技能介绍

本工具用于展示 CocoMeter 的估算精度学习数据,属于 CocoPlus(snowflake-labs/cocoplus)中的技能。

用途:汇总并输出估算精度的反馈学习结果,让开发者了解预飞估算(pre-flight estimates)被自动校准后的当前状态。

主要能力:

  • 读取 .cocoplus/meter/accuracy-history.jsonl,逐行解析会话记录,字段包括 session_id、estimated_tokens、actual_tokens、estimated_credits、actual_credits、ratio、timestamp。
  • 读取 .cocoplus/meter/adjustment-factor.json,获取 factor、sample_size、computed_at。
  • 基于最近 5 次会话的 ratio 计算趋势:最大值与最小值之差小于 0.1 时为 Stable;最后一次比值比第一次大 0.1 以上为 Increasing;小 0.1 以上为 Decreasing。
  • 输出调整系数与样本量、趋势及最近 5 次比值、一句建议,并提示预飞估算正在自动校准。

使用方式:

  • 先确认 .cocoplus/ 目录存在;若不存在,输出“CocoPlus not initialized in this directory. Run $pod init to begin.”并停止。
  • 若 accuracy-history.jsonl 不存在或记录少于 2 条,输出提示需至少完成 2 次带预飞估算的完整会话后停止。
  • 满足条件后按上述字段计算并输出结果。

适用场景:已初始化 CocoPlus 并积累多次估算会话的项目,开发者需要查看校准系数是否可信、估算偏差是否稳定。

限制:仅读取本地 .cocoplus/meter 下的文件;数据不足 2 次会话时无法给出校准结果;调整系数采用中位数而非均值,以避免异常会话造成的偏差。