用途:semantic-consistency-auditor 是医学 AI 评估工具,用于从语义层面评估 AI 生成临床病历与专家撰写的金标准之间的一致性,不限于字符串匹配或词袋模型,可识别措辞不同但含义相近的表达。
主要能力:采用 BERTScore 与 COMET 两种算法。BERTScore 基于预训练 BERT 上下文嵌入计算候选文本与参考文本的 Precision、Recall 与 F1;COMET 基于 XLM-RoBERTa 编码器捕捉深层语义,输出 0-1 的语义一致性分数。支持单例与批量评估,输出 summary 或 detailed 格式,含各指标分数、是否通过阈值及匹配概念、语义缺口等细节。
使用方式:需 Python 3.10+,依赖 bert_score、comet、dataclasses、numpy、torch、yaml,可执行 pip install bertscore comet-ml transformers torch 或 pip install -r requirements.txt。主脚本为 scripts/main.py,可先执行 python -m py_compile scripts/main.py 与 python scripts/main.py --help 验证。配置位于 ~/.openclaw/skills/semantic-consistency-auditor/config.yaml,含 BERTScore 模型(如 microsoft/deberta-xlarge-mnli 或 bert-base-chinese)、lang、COMET 模型(如 Unbabel/wmt22-comet-da)及阈值(bertscore_f1 0.85、comet_score 0.75、semantic_consistency 0.80)。命令行支持 --ai-generated、--gold-standard、--output、--input-file、--format、--bert-model、--comet-model;批量输入为含 case_id、ai_generated、gold_standard、metadata 的 JSON 数组。
适用场景:医学与学术写作工作流中需要结构化执行、明确假设与清晰输出边界的一致性核查。
限制:首次运行需下载模型(BERTScore 约 400MB-1GB,COMET 约 500MB-1.5GB),CUDA 环境可显著加速;输入缺失、越界或不可假设时停止并只请求最少补充信息;具体收费、价格与官方支持平台暂未提供。