用途:对多步推理链(数学推导、调试过程、逻辑论证等)逐步评分,判断哪些步骤最有价值、哪些冗余、哪一步导致推理偏航,并比较不同解法路径的质量。
主要能力:采用Wang等(2026)提出的边际信息增益(MIG)与单调历史水位线(Monotonic Historical Watermark)机制。每步计算“给定前k步后得到正确答案的置信度”,只有超过此前最高置信度的步骤才获得正信用;重复已知信息得0分,引入错误则记为回退并单独标记。框架将过程质量(步骤是否合理递进)与结果正确性(最终答案是否正确)分开评估,双重通过的结构被视为可直接复用的优质推理链。输入会按自然边界切分为独立步骤,输出每步文本、MIG分数、突破/中性/回退判定及简要理由,并给出删除、强化或调整步骤的建议。
使用方式:由Claude按技能工作流执行,依次为解析步骤、确定目标结果、逐步计算置信度、维护水位线、计算MIG、标记回退点、双重门槛评估、输出标注报告并给出改进建议。支持处理等价答案形式(如1.6、8/5、1 3/5)。
适用场景:审查LLM思维链质量、定位多步流程失败原因、精简冗余步骤、比较两套解法效率。
限制:面向推理痕迹而非真实思维过程;置信度为定性代理而非形式化概率,不同评估者分数可能略有差异;步骤超过50步时建议按区段汇总;仅适用于有单一目标答案的任务,开放式创作类任务不适用;本技能只应用该论文的评估框架,不涉及模型微调。具体安装命令及收费信息暂未提供。