SuperAPI AI 工具集

model-assessment

设计与创作

查看项目

更新于 10-15 16:51

技能介绍

用途:评估已训练的医学影像模型(自研、厂商或开放权重;分割/分类/检测),按证据构建顺序分四部分执行。Part A 设计与审计验证研究;Part B 计算任务正确的留出指标;Part C 为部署主张补充不确定性、OOD 与弃权层;Part D 让可解释性分析经得起审阅。可按请求只跑需要的部分(如 Grad-CAM 问题从 Part D 开始),但在 Part A 划分门禁通过前不报告任何指标结论。每个部分以标准库门禁结束,结论须由文件复现,未运行不得报告通过。

用法与能力:数字只来自在提供的预测、划分表或研究者已执行的 UQ/XAI 代码上运行的代码;若缺预测或真值,须说明并停止。按引用集成 MONAI/nnU-Net、MAPIE、captum、pytorch-grad-cam 与预训练 OOD 评分器,不重实现、不构建或训练模型、不在真实患者数据上运行模型。

主要流程:A 部分含任务与预期用途、泄漏审计(运行 check_split_leakage.py,患者重叠不可批准)、验证层级、比较器、测试集规模、前瞻评估与部署监测、报告指南适配。B 部分计算分割(Dice/IoU 与边界指标,患者级 bootstrap CI)、分类(AUROC/AUPRC、校准)、检测(FROC/mAP、JAFROC)、交互式分割(Dice 对交互次数)、生成(全参考/无参考加下游任务)等指标,并以 metrics_manifest.json 与 check_metric_reporting.py 校验。C 部分选择不确定性方法(共形、深度集成、MC-dropout、Laplace)、OOD 守卫与选择性预测,写 uncertainty_manifest.json 并校验。D 部分产出并检查 Grad-CAM 等图,跑随机化测试、计算定位指标,写 explainability_report.json 并校验。

适用场景与限制:适用于医学影像模型的验证与评估,并与其他技能衔接(统计分析、样本量、报告核查等)。资料未提供具体收费、价格或平台信息。