Survey Data Processing 是一个用于问卷调查数据清洗、重编码与整理的技能,目标是把原始问卷响应数据准备成可进行统计分析的形式。根据资料,它覆盖问卷数据中常见的问题,包括不完整作答、注意力检查失败、反向计分题、量表构建、开放式回答编码,以及导出为与 SPSS、Stata、R 兼容的分析就绪格式。
用途 该技能面向问卷响应数据的处理流程:从数据质量评估开始,到重编码与转换,再到数据重塑与导出,形成一条面向统计分析的准备链路。资料指出,问卷数据来自 Qualtrics、SurveyMonkey、REDCap、Google Forms 等平台时各有自己的导出格式与特性,因此第一步总是标准化。
主要能力 一、数据质量评估。通过 assess_survey_quality 这类函数生成问卷数据质量报告,检查内容包括:每题的完成率、作答时长(识别过快与过慢的作答者)、直线作答模式、注意力检查失败情况。报告输出整体回应数、实质性完成数、完成率,以及时长分析(中位时长、speeder 数量与占比)和缺失最多的题目。
二、低质量响应的识别。detect_straightlining 用于检测在几乎所有 Likert 量表题上选择同一答案的作答者(直线作答),当某作答者最常见回答的比例超过阈值(默认 0.9)时被标记。check_attention_items 用于验证注意力检查(陷阱)题,接收 {列名: 正确答案} 的字典(例如 {"q15_attention": 4, "q32_trap": "strongly agree"}),返回未通过检查的索引列表。
三、重编码与转换。reverse_code 用于对 Likert 型量表进行反向计分,公式为 reversed = (scale_max + scale_min) - original,例如 1-5 量表上 1 变 5、2 变 4、3 不变、4 变 2、5 变 1;资料给出了 Big Five 人格量表反向题目的示例(extraversion、neuroticism、agreeableness 下的具体题目),并说明 1-7 Likert 量表按 scale_max=7、scale_min=1 处理。
四、量表构建。compute_scale_scores 根据量表定义(量表名到题项列的映射)以 mean 或 sum 方法计算复合量表分数,并同时计算 Cronbach's alpha;cronbachs_alpha 用于评估内部一致性信度,资料说明 alpha 高于 0.70 通常被认为可接受。
五、开放式回答处理。code_open_responses 通过关键词匹配将预定义的编码手册(codebook,编码名到关键词列表的映射,例如 financial_concern、time_constraint、quality_issue)应用到开放式文本上,生成 0/1 编码列。资料提醒,若要做研究级编码,应辅以经过训练的评分者人工编码。
六、评分者间信度。资料说明当多名编码者对开放式回答分类时,两人评分者使用 Cohen's Kappa,三人及以上使用 Fleiss' Kappa,并给出解释尺度:< 0.20 差、0.21-0.40 一般、0.41-0.60 中等、0.61-0.80 较好、0.81-1.00 几乎完全一致。流程为:制定含定义与示例的编码手册;用 10-20 条练习回答培训编码者;独立编码 20% 的回答(重叠集);在重叠集上计算评分者间信度;若 kappa < 0.70,讨论分歧并修订编码手册;重复直到达到可接受信度;再分配剩余回答。
七、数据重塑。reshape_repeated_measures 用于将重复测量问卷数据从宽表转成长表,例如 q1_pre、q1_post 转为含 time_point 列("pre"、"post")与数值列的长表,并清理 time_point 列。
八、导出。资料给出各统计软件的导出方式:SPSS(.sav)使用 pyreadstat.write_sav(df, "output.sav"),并应包含变量标签与值标签、设置测量层级(nominal、ordinal、scale);Stata(.dta)使用 pandas 的 df.to_stata("output.dta"),可通过 write_stata 的 labels 字典加入变量标签;R 使用带编码手册的 CSV,或用 pyreadstat 写出 .rds 格式,并包含因子水平定义。通用最佳实践包括:包含唯一受访者 ID 列;分类变量使用数字编码并配标签;在配套编码手册中记录所有重编码;同时保存原始与处理后版本;包含时间戳列以便数据版本管理。
适用场景 适用于处理来自 Qualtrics、SurveyMonkey、REDCap、Google Forms 等平台的问卷数据,进行质量筛查、反向计分、量表总分计算、开放式回答编码,以及为 SPSS、Stata、R 等统计分析准备数据。
限制 资料强调,清洗与重编码阶段做出的决定会直接影响研究结论,因此对每一步的透明记录是方法论上的要求;关键词编码方式应辅以人工编码才能达到研究级质量;缺失信息(如具体收费、价格、平台或使用步骤之外的内容)暂未提供。