用途:该技能面向经济学研究者,用于清洗、转换和准备分析用数据集,支持 Python、R 或 Stata,强调可复现性、文档记录以及处理经济研究中常见的数据质量问题。
主要能力:清洗原始调查或行政数据;合并多个数据源;处理缺失值、重复值和异常值;创建可直接分析的 panel 数据集;记录数据转换以便复现。
使用方式:先了解数据来源、观测单位、关键变量和已知数据质量问题,再生成清洗流程。Stata 示例包含项目头信息、环境设置(clear all、set memory、log)、加载与检查原始数据、逐步注释转换、生成最终数据 codebook,并使用 assert 校验数据完整性、label variable 标注变量、value labels 标注分类变量、生成日志文件、保存中间文件。Python 示例使用 pandas 加载检查、重命名列、处理缺失值代码、修正类型、按 1%/99% 分位缩尾、创建派生变量、校验并保存为 parquet。R 示例使用 tidyverse 与 janitor 完成类似流程并保存为 rds。
适用场景:原始调查或行政数据清洗、多源数据合并、缺失值与重复值处理、异常值缩尾、面板数据构建、复现文档编写。
限制:资料未提供具体收费、价格、平台支持范围或效果保证;Stata 部分命令需 Stata 15+,部分用户自写命令需通过 ssc install 安装(如 unique、mdesc、labutil)。