SuperAPI AI 工具集

automated-rubrics-reliable-evaluation

智能体与模型

查看项目

更新于 10-16 09:34

技能介绍

用途:面向医疗对话系统或临床问答模型的输出评估,替代 BLEU、ROUGE 等表层指标,自动生成实例级评估量表,用于评分、排序和回答改进。

主要能力:采用双轨约束构建。客观轨从 CDC、WHO、PubMed、Mayo Clinic、药物数据库等权威来源检索并合成证据,分解为三类原子事实:正向事实、负向约束(禁忌、禁止)、安全红旗;主观轨从用户提问提取显式指令、隐含沟通线索及缺失的医学上下文(年龄、过敏、用药等)。两轨交由量表合成智能体映射为结构化标准,分配到五个评估轴:准确性、完整性、上下文意识、沟通质量、指令遵循;临床权重取 -10 到 +10,安全关键项取 |8-10|,负权重惩罚有害内容。审计智能体做三阶段缺口分析:补未覆盖事实、过滤幻觉或无关标准、合并碎片并限制每条量表最多 20 条且保留全部安全红旗。

使用方式:实现路由智能体将医学问题转成 3-5 条检索查询;检索每查询前 5 条结果并合成证据,可用 Trafilatura 提取正文;分解原子事实并保留安全红旗与负向约束;并行提取交互意图;合成带 criterion、axis、weight 的标准元组;审计去幻觉与合并;对每个待评回答逐条检查,采用 N=3 次试验并交换顺序共 6 次、多数投票;计算加权总分,成对评估可算胜率、平均分差、AUROC;可选将违规项转为 ADD/REMOVE/MODIFY 的编辑计划交给改进智能体,但不得引入证据外主张;最后可计算临床意图对齐 CIA=(匹配要点/总要点),并报告各轴覆盖情况。

适用场景:无医师编写量表的 HealthBench 类基准;检测错误剂量、缺失禁忌、遗漏红旗等细微临床错误;量表引导的回答迭代改进;多回答排序与近似错误区分;多智能体评估框架设计。

限制:量表质量受检索质量约束,冷门主题、罕见病或新疗法可能缺失关键内容;面向英文医疗对话,跨语言需额外适配;权重按预设严重度分层,非个体化风险;不能完全替代医生审核,高利害场景宜作初筛;20 条上限对多病共存复杂提问可能不足;检索缺失时回退参数知识会标记为无依据并需降低置信度。