该技能让 AI 智能体把原始数据集系统化清洗为可分析数据，覆盖缺失值、重复记录、数据类型不匹配、格式不一致、异常值处理与标准化，并可强制执行校验模式以保证持续的数据质量。主要工具链为 pandas，辅以 pyjanitor、great_expectations、fuzzywuzzy 和 numpy。
主要能力与用法：先加载数据并生成质量报告（各列空值数、重复行、类型与模式差异、混合类型列），据此决定后续清洗策略。缺失值按列处理：数值列缺失低于 5% 用中位数填补；类别列用众数或单独的“Unknown”类；缺失超过 40% 的列标记待删除并事先询问用户。去重区分完全重复与近似重复，完全重复保留第一条，近似重复用可配置阈值的模糊匹配并按新近度或完整度合并冲突值。类型与格式修正包括把日期字符串解析为 datetime、数值字符串转浮点、类别值规范化，并统一电话、邮编、货币表示。异常值用 IQR（1.5 倍）或 z 分数检测，提供截断、置空、仅标记三种处理。最后用非空、范围、唯一性与引用完整性规则校验，输出清洗后数据与变换日志。
使用方式：提供原始数据集文件路径，可选提供模式定义（期望列类型、有效范围、唯一性约束），智能体产出清洗文件和变换日志。文档示例展示了用 pandas 清洗混乱 CSV（修正类型、填补缺失、去重、标准化类别、IQR 截断）以及用 great_expectations 建校验套件并运行验证的流程。
最佳实践与限制：清洗前保留原始数据副本，记录每步变换及数量形成可审计轨迹；非随机缺失应结合领域判断并询问用户；尽早且反复校验，把清洗视为迭代过程。需注意全空列应自动删除并警告、重复列名应在加载时改后缀、编码失败可改用 latin-1 或 cp1252、多格式日期用 format="mixed" 并抽查、带货币符号的数值需先剥离符号再转换。文档未提供收费、价格、平台信息。