用途:作为分析模块对质性数据进行编码,并正确报告编码者间一致性。核心纪律是分支判断:编码手册/内容分析类工作适用信度系数,反身性主题分析则以共识与反身性为标准,不强行套用统计量。
主要能力:支持编码手册开发与细化、主题分析、框架分析、内容分析;计算编码者间信度。首选 Krippendorff's α,可处理≥2名编码者、名义/序数/区间/比率等测量层次及缺失数据;两名编码者可用 Cohen's κ,多于两名且编码者数固定可用 Fleiss' κ。明确拒绝卡方、Cronbach's α 和 Pearson's r 作为信度指标。阈值:α≥.80 可靠;.667≤α<.80 仅可作暂定结论;α<.667 不可靠。报告须含 α 点估计与 95% 置信区间。
使用方式:Python 可用 krippendorff.alpha(reliability_data=<coders × units>, level_of_measurement="nominal"),但仅返回点估计,需配合 bootstrap 置信区间;随附 scripts/icr.py 以纯标准库实现名义 α、bootstrap 置信区间与 Cohen's κ。R 可用 irrCAC::krippen.alpha.raw 或 icr::krippalpha(..., bootstrap=TRUE)。κ 可用 statsmodels.stats.inter_rater 的 cohens_kappa、fleiss_kappa(配合 aggregate_raters 构建计数表),sklearn 的 cohen_kappa_score 可作交叉验证。LLM 辅助编码须视为另一名编码者,与人工金标准做双编码并计算 α,披露模型、提示词与一致性结果。
适用场景:两名研究助理用编码手册编码访谈后计算信度;构建或细化编码手册并报告一致性;用 LLM 编码开放题并与人工编码比对;内容分析中确定应报告哪些信度统计量。
限制:不适用于主题建模/嵌入/监督式文本分类(应转向计算文本类技能)、研究可信度评估、质性方法选择、量表信效度等量化问题。反身性主题分析不应强制计算 α,其可信度问题应另行处理。报告需包含分支、信度指标及理由、编码者数量与类型、双编码比例、α 点估计与置信区间及阈值判定、分歧解决方式。