SuperAPI AI 工具集

term-check

通用与其它

查看项目

更新于 10-15 19:48

技能介绍

用途:判断一个候选术语能否脱离文档、仅凭场景被读者猜对。做法是把同一场景中的 {TERM} 分别替换为三个候选词,交给三个模型各跑两次,共六次运行,比较哪个词最能独立传达含义。

主要能力:默认三臂对比;若只有两个候选,会建议补一个同义词凑成三臂。每次运行要求模型输出一句话猜测加置信度 high|medium|low,便于横向比较。结果以表格呈现,每行对应一个模型的一次运行,每列对应一个候选词,单元格格式为 <图标> (<置信度>) -> <猜测>,图标为 ✅ 正确、⚠️ 部分正确、❌ 错误。先看正确率,再看置信度。

使用方式:先把场景写入文件,用两句话交代领域、词周围的形态,并在候选词位置留 {TERM};只写陌生人定位该词所需的信息,避免场景本身泄露被测含义;结尾固定答案格式。然后运行:bash .agents/skills/term-check/probe.sh <scenario-file> <term-a> <term-b> <term-c>。每词六次运行并行执行,约一分钟。逐次按“该词必须传达的含义”打分,并保留模型自报的置信度。报告时先原样引用场景(放在表格上方的代码块中),再给表格。

结果解读:各臂得分相近时,先怀疑场景而非词,通常说明场景暗示过强、自问自答,应指出泄露语句并询问是否改场景重跑;场景干净后仍平局,才说明该词不承担区分作用,可改按简洁、与同类词平行、术语表等标准选择。一臂胜出即采用该词。各臂都差说明词没问题而形态不对,应先修形态再探测。胜者偏弱(无高置信度,或仅因其他臂崩掉而胜)时,可提出三四个新同义词并询问是否再跑一轮,同时收紧场景。

限制:每次运行从空对话和中性目录开始,仓库文档不会进入模型,但全局 ~/.claude/CLAUDE.md 仍会加载;它不含领域词汇且对所有臂一致,因此臂间比较有效,绝对分数无效。模型依据整个场景猜测,场景泄露答案会让所有候选都得分。置信度是模型自报,无数字支撑也未校准,应视为语气,判定以得分为准。真正的量化指标是各次运行落到同一含义的一致率,可通过提高 probe.sh 中的运行次数来增强。完成标准:每词六次运行都带图标、置信度和猜测,场景置于表格上方,表格给出胜者、平局或弱胜者并附新同义词建议。