SuperAPI AI 工具集

imaging-data

数据与分析

查看项目

更新于 10-15 16:51

技能介绍

用途:在医学影像(DICOM/NIfTI)建模前,梳理数据集实际内容与它能支持的研究范围,并在构建代码仓库前审计预处理流程是否泄漏安全。定位为“只描述与审计”:不修改、重采样、改变方向、划分或写入影像数据,不在真实患者数据上运行预处理,MONAI/TorchIO 变换按引用接驳而非另写实现。

主要能力与流程: 一、逐病例剖析。运行 scripts/profile_imaging_dataset.py,支持 --split、--dataset、--declared-labels、--target-label、--plan、--out 等参数,输出每病例的网格、间距、方向、强度分位、实际标签值、前景占比与目标体积(mL)。多结构图谱需用 --target-label 指定目标,否则前景会汇入全部标注结构。需 nibabel + numpy。 二、对剖析结果按声明方案设闸。运行 scripts/check_dataset_profile.py(仅标准库),可给出 LABEL_SHAPE_MISMATCH、LABEL_EMPTY、LABEL_VALUE_UNEXPECTED、TEST_SET_UNLABELLED、ACCURACY_UNDER_IMBALANCE 等主要项,以及 SPACING_HETEROGENEOUS、ORIENTATION_MIXED、INTENSITY_SCALE_INCONSISTENT、EXTREME_IMBALANCE、TARGET_LABEL_UNDECLARED 等次要项。闸门针对未声明决策而非变异性;--spacing-ratio 默认 2.0、--imbalance-frac 默认 0.01 为筛查默认值,不可当作已发表切点。 三、将剖析转为研究决策并写入研究记录:重采样目标、损失与指标族、预先指定亚组、留出集来源、队列局限。 四、盘点预处理步骤并确定拟合范围:数据集级归一化只在训练集拟合,数据拟合变换在划分后运行,优先逐图像归一化,增强仅用于训练,按患者级划分。 五、产出 preprocessing_manifest.json,含 split_seed、transforms(name/type/fit_scope/stage/applies_to)与 split_assignment;fit_scope 用 train 为合规,all/full/dataset/test 为泄漏,sample/per_image/none/fixed 表示非数据拟合;需如实描述代码行为,重采样也须声明拟合范围。 六、对清单设闸。运行 scripts/check_preprocessing_leakage.py,给出 PREPROCESS_BEFORE_SPLIT、NORMALIZATION_LEAKAGE、PATIENT_CROSS_SPLIT(主要)与 AUGMENTATION_ON_EVAL、UNSPECIFIED_FIT_SCOPE、MISSING_SEED(次要)。 七、新队列推理前检查归一化器域。运行 scripts/check_normalizer_domain.py,需 --profile、--contract、--splits、--out。

输出与衔接:eda/profile.json、qc/dataset_profile.json、决策记录、preprocessing_manifest.json、qc/preprocessing_leakage.json、qc/normalizer_domain.json。清单供 /model-scaffold 使用,并读取 qc/ 报告;未解决的主要项会拒绝搭建,直到修复重设闸或以 --ack-qc 附理由确认。可配合 /check-reporting 与 /self-review;仓库内提供多项回归验证脚本。

限制:仅描述与审计,不执行数据修改或预处理;必须实际运行闸门才可报告通过;未提供价格、平台与效果等事实。