用途:对主观、开放式的文本回答(访谈转写、作文、反思写作、简答题)按评分标准打分。核心思路是把单次 LLM 打分拆成两阶段:先由 Refiner 智能体清洗与提炼原文(纠正转写错误、去填充词与自我介绍、删冗余,不新增内容),再把清洗后的文本分发给 N 个彼此隔离的 Scorer 智能体,每个只负责一项标准,避免标准间相互干扰。
主要能力:每项标准配三档校准样例(约第 5、50、95 百分位,低/中/高),论文称三例最优,四例以上会产生近因偏差;据称该方法与人类专家评分一致性接近翻倍(QWK 0.62 对 0.32),且无需微调即可跨领域泛化。
使用方式:1)为每项标准写定义与量表描述,标准须可独立评分;2)每项标准选三条真实人工评分样例并标注分数;3)构建 Refiner 提示并运行;4)为每项标准单独构建 Scorer 提示(角色、标准定义、量表、三档样例、清洗后文本、只输出数字);5)并行运行各 Scorer,互不可见;6)汇总为结构化结果并计算合成分;7)校验分数范围,越界或非数字则重跑;8)如需理由,在评分完成后单独生成,不要在打分时同时解释。
适用场景:访谈与 MMI 评分、入学作文、反思日志、简答评估,以及含噪声 ASR 转写的口语访谈。
限制:必须有至少每项标准三条人工评分样例,无法零样本启动;效果上限接近人类评分者一致性,不会超过;标准定义须精确,模糊标准效果差;三例校准适合 5–7 点量表,过细量表(如 1–100)不适用;成本随标准数线性增长,每份回答每项标准一次调用;不适合有唯一正确答案的客观题。参考 Huynh, Guerin & Callwood (2026), arXiv:2602.02360v1。