SuperAPI AI 工具集

codebook-pass

前端与建站

查看项目

更新于 10-16 08:05

技能介绍

用途:处理中国综合社会调查(CGSS)、中国家庭收入调查(CHIP)、中国社会科学调查(CSS)等大型调查数据,将原始数据经标准化清洗转为可用面板数据,保证每一步可审计、可复现。适用场景包括下载原始数据后、合并多年份数据、构建面板数据及论文数据准备阶段。

核心理念与规则:原始数据只读不修改,所有转换在processed/文件夹进行,并更新provenance.json;每步转换须记录变量名、编码与处理方式;缺失值必须明确标注,不得默认为0或其他有意义数值。

工作流程:原始数据→导入检查→变量命名规范化→缺失值处理→异常值处理→编码统一→合并面板→输出报告。导入检查核对样本量、变量数与codebook一致,标注缺失率>50%的变量。命名建议采用{数据库缩写}{年份}{变量原名},并将编码映射写入provenance.json。缺失值需区分真实缺失(./NA)、不适用、拒答、不知道、数据缺失,常见编码97/98/99/999/9999应转为NaN,不得填0或删除所有含缺失观测。异常值可用描述统计与IQR方法检测,对录入错误修正或标记缺失、合理极端值保留并报告中位数、离群点可双边winsorize(1%和99%分位)。多年份或多数据库合并时须统一变量名与编码并逐变量核查,横向合并需注意不同数据库定义差异。面板构建可用宽转长格式。输出包括cleaning_report.md、variable_definition.csv与更新的provenance.json。

调用方式:在Claude Code对话窗口输入/codebook-pass,或按调查数据清洗Skill处理CGSS/CHIP数据,依次完成导入检查至输出清洗报告和provenance.json。

限制:不同年份问卷可能有细微差异,合并时必须逐变量核查;资料暂未提供定价、平台支持范围及效果保证等信息。