SuperAPI AI 工具集

clean-data

数据与分析

查看项目

更新于 10-15 16:51

技能介绍

用途:在临床 CSV/Excel 数据集进入分析前,进行数据剖析、问题标记并生成清洗代码,适用于缺失值、异常值、重复记录、类型不匹配等场景。

主要能力:分三阶段工作流,每阶段结束设用户审批门。阶段1剖析:基于 pandas 模板生成变量与行数、数据类型、缺失数量与百分比、分类变量唯一值、数值变量 min/max/mean/median/SD,以及直方图与柱状图;若提供码本则交叉核对变量名、预期类型与范围,不确定映射写 [VERIFY: variable_name]。阶段2标记:识别缺失机制(MCAR/MAR/MNAR 启发式)、统计异常值(IQR、Z 分数)、精确与近似重复、类型不匹配、不合逻辑值、跨字段矛盾、分类不一致、分类隐含零(如吸烟状态为 never 但 pack_years 为 NULL)、反向计分题未重编码等,输出含变量、问题类型、数量、严重度和建议动作的表格。阶段3仅对用户批准的动作生成 Python 或 R 代码,含清洗前后行数、清洗日志 DataFrame、随机种子 42、清晰注释,并输出新 CSV(不覆盖原文件)与 cleaning_log.csv。

使用方式:提供 CSV/Excel 路径或数据字典/码本,按提示逐阶段确认。涉及 PHI/PII 须先运行 /deidentify,优先使用 _deidentified. 文件;否则仅凭码本或无网络本地环境工作。技能只生成代码与报告,不自动清洗,每个清洗决定需研究者明确确认。清洗后交接 /analyze-stats,引用取自 /search-lit。

限制:不负责临床笔记自由文本提取、图像数据或 DICOM 元数据;仍需人工确认每一步,避免因临床领域知识不足造成错误清洗。