SuperAPI AI 工具集

memory-clarity-probe

智能体与模型

查看项目

更新于 10-15 17:20

技能介绍

用途:评估记忆、摘要或会话状态是否保留了足够指导后续推理的任务信息,作为质量门禁使用。

主要能力:采用 MMPO 论文的双探针模式。进展探针询问“基于当前记忆,当前任务进展如何”,需给出具体、可验证的状态,避免模糊占位;缺口探针询问“基于当前记忆,还需要哪些信息”,需列举有限、具体的未知项。两探针分别针对“自信但错误”和“不确定且不完整”两类失败模式,论文消融显示进展加缺口优于仅缺口。

使用方式:接收记忆或摘要作为输入,来源可为会话状态文件、记忆宫殿房间内容、知识摘要或调用方提供的文本。先问进展探针并打分(清晰/模糊/不清晰),再问缺口探针并打分(有界/扩散/过度自信),计算复合分(清晰/模糊/可疑/不清晰)并给出建议(继续/扩展记忆/重新生成)。支持 Best-of-N 模式,对多个候选摘要逐一探测,按复合分、缺口枚举具体性、进展回答是否含糊排序并推荐首选。

适用场景:会话上下文交接给后续 agent 前、会话检查点、将摘要提交知识库前、声明工作完成前,以及评估多个候选摘要时。

限制:这是定性清晰度评估,不计算论文中的 token 级预测熵(信念熵),因为无法访问模型内部 log-probabilities;论文指出定性探测弱于真实熵,可能鼓励过早自信,故应作为必要但不充分的质量检查。不能替代实际阅读任务要求,不验证事实正确性,记忆过短(低于约 100 tokens)时应直接阅读。具体收费、价格、平台信息暂未提供。