SuperAPI AI 工具集

improvement-discriminator

智能体与模型

查看项目

更新于 10-15 23:48

技能介绍

用途:对改进候选进行多信号打分与排序,产出 ranked list 供后续执行器按优先级处理;也用于调试所有候选被判为 hold 的原因(常见于 risk_penalty 过高或缺少 source_refs)。在 orchestrator pipeline 第 2 阶段被自动调用。

主要能力:四种评分模式可独立或组合。默认启发式(category bonus + source refs + risk penalty)零成本且确定性;加 --use-evaluator-evidence 后为启发式 70% + evaluator 30%;加 --llm-judge 后为启发式 60% + LLM 40%,评估 clarity、specificity、consistency、safety 四个语义维度;加 --panel 后由 structural 与 conservative 两名独立审阅者盲审,输出 CONSENSUS、VERIFIED、DISPUTED 三态认知标签与 aggregated_score。

用法:score.py 是核心入口,接收 candidates.json,输出 scored.json。示例:python3 scripts/score.py --input candidates.json --output scored.json(仅启发式);python3 scripts/score.py --input candidates.json --panel --llm-judge mock --output scored.json(全流程)。--llm-judge 支持 claude、openai、mock 三种 provider,mock 为零成本测试用。--verbose 可查看各审阅者评分与 judge_notes。decision 三态为 accept、conditional、reject。

适用场景:候选排序、多人盲审降偏见、语义维度评估、可解释评分明细、多轮候选质量趋势对比,以及排查全 hold 原因。

限制:不做结构评估(用 improvement-learner)、不做 keep/revert/reject 决策(用 improvement-gate)、不修改文件(用 improvement-executor)、不生成候选(用 improvement-generator)。候选数为 0 时会报错;必须输入 generator 产出的标准格式,无 candidates.json 不应调用。不要将其 accept 视为最终决策,也不用于回归检测。LLM judge 有 token 成本与随机性,每个候选约 500-1000 tokens。

相关技能:generator、gate、learner、benchmark-store、executor、evaluator、orchestrator。数据流为 generator → discriminator → evaluator → executor → gate。