用途
Data Validation 是一项面向数据分析交付前的质量保证（QA）技能，目标是在把分析结果分享给利益相关方之前，系统性地检查方法论、验证准确性并识别偏差。它适合数据分析师、业务分析人员、数据科学工作者在完成分析后、正式汇报前使用。
主要能力
交付前 QA 检查清单
技能提供一份在分享任何分析前应逐项通过的检查清单，分为四类：
- 数据质量检查：来源验证（确认使用了哪些表/数据源，是否为回答该问题的正确来源）、数据新鲜度（记录“截至”日期）、完整性（时间序列无意外缺口、无缺失分段）、空值处理（检查关键列空值率，并确认空值被恰当处理——排除、填补或标记）、去重（确认没有因错误连接或重复源记录导致重复计数）、过滤条件验证（所有 WHERE 子句和过滤条件正确，无意外排除）。
- 计算检查：聚合逻辑（GROUP BY 包含所有非聚合列，聚合层级与分析粒度一致）、分母正确性（比率和百分比使用正确分母，分母非零）、日期对齐（对比使用相同时间长度的周期，部分周期被排除或注明）、连接正确性（JOIN 类型恰当，多对多连接未虚增计数）、指标定义（指标与利益相关方的定义一致，任何偏差都注明）、小计求和（各部分在预期情况下加总为整体，若不能则解释原因，如重叠）。
- 合理性检查：量级（数字在合理范围内，收入不为负，百分比在 0–100% 之间）、趋势连续性（时间序列无无法解释的跳变或骤降）、交叉引用（关键数字与其他已知来源一致，如仪表盘、既往报告、财务数据）、数量级（总收入在正确量级，用户数与已知数字吻合）、边界情况（边界处会发生什么——空分段、零活动周期、新实体）。
- 呈现检查：图表准确性（柱状图从零开始，坐标轴有标签，各面板比例一致）、数字格式（精度适当，货币/百分比格式一致，必要时使用千位分隔符）、标题清晰度（标题陈述洞察而非仅指标，注明日期范围）、注意事项透明度（明确说明已知局限和假设）、可复现性（他人能依据所提供的文档重现该分析）。
常见数据分析陷阱
技能总结了七类常见陷阱，每类都给出问题说明、检测方法和预防措施：
- 连接爆炸（Join Explosion）：多对多连接会静默地使行数倍增，虚增计数和求和。检测方法是连接前后检查行数（如连接前 1,000 行，连接后 3,500 行即为异常）；预防措施包括连接后始终检查行数、若行数增加则调查连接关系、通过连接计数实体时使用 COUNT(DISTINCT a.id) 而非 COUNT(*)。
- 幸存者偏差（Survivorship Bias）：只分析今天仍存在的实体，忽略已删除、流失或失败的实体。例如分析“当前用户”行为会遗漏流失用户，研究“成功”结果的性质却不看“不成功”的。预防方法是在下结论前先问“谁不在这个数据集里？”。
- 不完整周期对比：把部分周期与完整周期比较，如“1 月收入 50 万 vs 12 月 80 万”但 1 月尚未结束。预防方法是始终过滤到完整周期，或比较同月同日/相同天数。
- 分母漂移（Denominator Shifting）：分母在不同周期之间变化，使比率不可比。例如因改变“合格”用户计数方式而提升转化率。预防方法是在所有对比周期使用一致定义，并注明任何定义变更。
- 平均值的平均（Average of Averages）：对预先计算的平均值再取平均，在组大小不同时会得到错误结果。例如 A 组 100 用户平均收入 50，B 组 10 用户平均收入 200，错误做法是 (50+200)/2=125，正确做法是加权平均 (100×50+10×200)/110≈63.64。预防方法是始终从原始数据聚合，绝不对预聚合的平均值再取平均。
- 时区错配：不同数据源使用不同时区导致错位，如事件时间戳用 UTC 而面向用户的日期用本地时间。预防方法是在分析前将所有时间戳统一到单一时区（推荐 UTC），并记录所用时区。
- 分群中的选择偏差：用所测量的结果来定义分群，形成循环逻辑。例如“完成引导的用户留存更高”——他们本就是自我选择的。预防方法是基于处理前特征而非结果来定义分群。
结果合理性核查
技能提供量级检查表，对关键数字做“嗅觉测试”：用户数是否与已知 MAU/DAU 吻合；收入是否与已知 ARR 处于同一量级；转化率是否在 0%–100% 之间且与仪表盘一致；增长率 50%+ 的月环比是否现实；平均值在已知分布下是否合理；各分段百分比是否加总约 100%。
交叉验证技术包括：用两种不同方法计算同一指标并核对；抽查个别记录，手动追踪若干具体实体的数据；与已知基准（已发布仪表盘、财务报告、既往分析）对比；反向推算（若总收入为 X，人均收入乘以用户数是否约等于 X）；边界检查（过滤到单日、单用户、单类别时微观结果是否合理）。
技能还列出需要调查的红旗信号：任何无明确原因却环比变化超过 50% 的指标；恰好为整数的计数或求和（暗示过滤或默认值问题）；恰好为 0% 或 100% 的比率（可能表示数据不完整）；完美证实假设的结果（现实通常更杂乱）；跨时间段或分段完全相同的值（暗示查询忽略了某个维度）。
可复现性文档标准
技能提供分析文档模板，要求每项非平凡分析包含：问题、数据来源（表名及截至日期、文件名及来源）、定义（指标、分群、时间段的精确计算方式）、方法论步骤、假设与局限、关键发现及支撑证据、所用 SQL 查询（带注释）、注意事项。
代码文档方面，对可能被复用的代码（SQL、Python）给出注释规范示例，包含分析名称、作者、日期、数据来源、最后验证日期、目的、假设、输出说明。
版本控制建议：将查询和代码保存在版本控制（git）或共享文档系统中；记录所用数据快照的日期；若用更新数据重跑分析，记录变更内容及原因；将周期性分析的既往版本链接起来以便趋势对比。
使用方式
该技能以检查清单、陷阱说明、核查方法和文档模板的形式提供指导。使用时，在完成分析后、交付前，按 QA 检查清单逐项核对，对照常见陷阱排查潜在问题，对关键数字做合理性核查与交叉验证，并按文档模板记录分析过程以保证可复现性。
适用场景
- 数据分析师在向利益相关方交付报告前进行自查
- 审阅他人分析以发现错误、验证准确性、识别偏差
- 建立团队的分析文档与可复现性规范
- 培训或提醒分析人员注意常见统计与数据处理陷阱
限制
资料未提供该技能的具体安装方式、运行环境、支持的平台或工具集成信息，也未说明是否收费或价格。以上内容均暂未提供。