SuperAPI AI 工具集

data-scrubbing

数据与分析

查看项目

更新于 10-16 04:57

技能介绍

用途:在分析、建模或报表前,对表格型数据做清洗与标准化。适用于 CSV、Parquet、SQL 抽取或 notebook 流水线;也覆盖保险精算字段(保单键、赔付三角、风险暴露基数)在准备金或定价准备前的清洗,以及共享抽取前的 PII 技术标记或脱敏。

主要能力:数据画像(行列数、类型、空值率、基数、极值、模式);按标识、度量、维度、日期、自由文本、敏感 PII 分类列;定义唯一性、引用、范围/域、正则、跨字段逻辑、体量门槛等质量规则,并按阻断或警告分级;按列处理缺失值、按正确粒度去重并保留合并血缘;显式策略处理异常值(截断、缩尾、排除、调查),不做静默删除;统一命名、单位、币种、时区、分类词表,显式类型转换并隔离解析失败行;修复 UTF-8 编码、分隔符、本地化小数与布尔标记;PII 最小化处理(删除、哈希/令牌化、掩码、聚合)并记录操作。

使用方式:按七步工作流执行——界定来源、粒度、主键与下游消费者;画像并定义质量规则;修复缺失、重复、异常;标准化与类型转换;PII 技术治理;精算/保险数据专项清洗;校验、文档化与签核。可参考 references 目录下各主题文档(范围与工作流、画像与规则、缺失重复异常、标准化与类型、PII 治理、精算保险数据)。产出可打包为可复现流水线(脚本/SQL/notebook)、配置、规则目录与版本哈希。

限制:不涉及星型/雪花建模、数仓 ETL/ELT、CDC 或平台接入设计;不做预测建模、A/B 实验、因果推断、ML 特征工程或 MLOps;精算假设、IBNR、定价模型与精算师签核另属他项;PII 法律依据、留存与跨境规则需升级至合规或法务。具体命令、安装方式、收费与价格资料暂未提供。