用途:在设计或审计 LLM/MLLM 的临床任务评测(报告生成、VQA、文本抽取分类)时,使评测经得起审稿人检查。它是作者侧的设计工具,模型无关,只读取、不执行模型,把临床效能指标路由给相应提取器与统计工具。
主要能力与工作流:第一阶段固定任务、模型版本、解码设置与评分对象(ME0)。第二阶段要求经裁定的专家参考标准,报告生成需给出 RadGraph-F1、CheXbert-F1 或 RadCliQ 等临床效能指标并附置信区间,VQA/分类需说明答案匹配规则并给出各类敏感度/特异度与真实患病率下的 PPV(ME1、ME2)。第三阶段加入原子事实忠实度与虚假前提/拒答探测,报告幻觉率;对公开基准需说明训练截止与基准发布时间、留出集或污染探测(ME3、ME4)。第四阶段披露提示词、温度、种子、≥3 次运行的方差与提示鲁棒性,如需部署效用声明则设计盲法读者研究(ME5、ME7)。第五阶段用清单确定性把关:复制模板 eval_manifest.json,然后运行 python3 ${CLAUDE_SKILL_DIR}/scripts/check_mllm_eval_completeness.py --manifest eval_manifest.json --strict;未做的轴写 none,未列出的方法写 other:<description>,其他取值退出码为 2。旧式散文检查可加 --plan plan.md --task report_generation|vqa|classification。NGRAM_ONLY、FAITHFULNESS_MISSING、REFERENCE_STANDARD_MISSING、CONTAMINATION_UNADDRESSED、READER_STUDY_MISSING 必须解决;分类清单总会报 CLASSIFICATION_METRICS_NOT_ASSESSED(次要),需人工核对分类指标。第六阶段交接给写作、报告合规与审稿工具。
限制:清单模式只检查是否声明,不验证工作是否真的完成,也不检查所选指标是否适配任务(如 VQA 任务声明 BLEU、RadGraph F1 也会被接受);散文模式只查词是否出现,不识别否定或语义,例如“未做人工评估”“未评估幻觉”仍算覆盖该轴。不得伪造模型输出、参考标签或指标分数;不得把 BLEU/ROUGE 当作临床正确性;公开基准未做检查不得声称无污染。适用场景为临床 LLM 评测设计与审计;不适用的包括 AI 对比人类专家的评分基准、影像预测/分割模型、图像到图像生成模型、模型训练与部署,以及已完成稿件的逐项合规审计。