measure-survey-analysis

用途

Survey Analysis 是一个产品经理（PM）技能，用于把问卷调研结果分析成可执行的 PM 洞察。它的核心工作包括：(a) 诚实刻画数据实际显示了什么，(b) 标注数据没有显示什么，(c) 识别开放文本回答中的主题，(d) 将发现与假设关联，(e) 产出按优先级排序的建议。

该技能定位为 measure 阶段技能，与 Triple Diamond 集成；单轮生命周期，每次调用产出一个分析产物；使用只读工具（Read、Grep），输出 Markdown。它与 discover-interview-synthesis 配对，作为后者的定量补充。

核心原则

对数据“没有显示什么”保持诚实，比从弱数据中得出自信结论更有价值。多数问卷存在样本偏差、引导性问题或回答数量不足。该技能的职责是明确说明局限，并拒绝夸大统计显著性。例如，47 份回答、5 个问题、含引导性问题的问卷给出 90% 置信度声明，比不做任何声明更糟。技能会解释原因，并说明什么条件下分析会改变。

何时不应使用

数据是访谈记录或开放对话而非结构化问卷回答：使用 discover-interview-synthesis。
想把问卷发现映射到客户端到端体验（阶段、触点、情绪曲线）而非分析问卷本身：使用 discover-journey-map，它可消费本技能输出作为定量信号。
需要建立因果关系而非相关性：使用 measure-experiment-design 做受控测试。
数据来自已完成的受控实验或 A/B 测试而非问卷工具：使用 measure-experiment-results 记录结果。
需要对照既定目标评估进展而非分析独立问卷：使用 measure-okr-grader。
是在对功能或举措排序而非分析研究数据：使用 define-prioritization-framework。

输入

必需：

问卷结果：原始回答行（优先）或预聚合摘要（问题文本、各选项回答数、回答分布、开放文本摘录）。原始行可支持聚合数据中不可见的交叉制表与偏差检测。大数据处理：若原始数据超出上下文限制，技能会请求摘要或代表性样本，而非静默截断。
问卷设计背景：驱动问卷的假设或问题；目标受众；受访者招募方式。

可选但能提升质量：

问卷方法细节（样本量、回答率、招募方式、问题顺序、随机化、排除标准）
对照数据（以往问卷结果、行业基准）
分析应支持的具体决策（路线图选择、功能优先级等）
用于主题聚类的开放文本回答集

产出内容

执行摘要（3-5 句）：头条发现（数据清晰显示的 2-3 件事）；置信度标签；关于数据的最重要一条警示。
问卷方法论摘要：被告知的内容 vs 实际做法。审计样本量（N，若已知邀请回答率 X%）、招募方式（开放样本库、客户邮件、产品内嵌、社交等）、关键细分段的回答分布（实际回答者 vs 被邀请者）、选择偏差风险（谁可能被高估/低估及原因）、问题设计风险（引导性、双重问题、选项偏差）。明确说明：“这些方法论选择影响可得出的结论。”
逐题分析：每题给出回答分布（计数与百分比）；统计置信度（基于样本量的定性标签：n < 100 仅方向；每细分段 n < 30 不足以做细分声明；粗略误差范围仅作参考，如“n=200 时约 +/- 7%，95%”，标注为近似，不暗示计算精度）；解读（数据显示了什么）；警示（没有显示什么）；细分拆解（若有细分数据）。5 题以上结构相似时用表格，混合题型时用分节。
人群/细分拆解：若问卷采集了人群相关属性（角色、公司规模、使用频率等），展示回答分布如何随细分变化；标注样本量过低的细分段（通常每段 n 小于 30）；识别明显偏离整体模式的细分段。
开放文本回答主题聚类：若含开放文本，将回答聚类为 3-7 个主题；每个主题给出代表性引语（2-3 条，仅取自提供的摘录，绝不编造）、提及次数（标注为近似）、情绪效价；识别与定量模式矛盾的主题（常是最有价值的信号）；标注聚类为 AI 辅助，反映所提供摘录而非全部回答的完整计数；标注主题分析是人工编码、AI 辅助还是结构化（效度不同）。
假设验证：对每个问卷前假设（作为输入提供）给出状态：SUPPORTED / CONTRADICTED / INCONCLUSIVE / NOT-TESTED-BY-THIS-SURVEY；证据（哪个问题或主题发现支持/矛盾）；置信度标签（基于样本、方法论、信号强度的高/中/低）。问卷实际未测试的假设（未问或问得不好）明确标注为“Not tested by this survey”。
数据没有显示什么（局限）：明确说明哪些人群未被代表（如“仅重度用户；对首次用户无信号”）；哪些问题未被回答（如“知道了用户想要什么，但不知道愿付多少钱”）；什么混淆了解读（如“样本在服务中断后通过邮件招募；满意度分数可能被压低”）；什么后续研究能弥补最重要缺口。
优先级建议：数据支持的前 3-5 条建议。每条包含建议、支撑证据（链接到问题/主题）、置信度、反证（如有）、什么额外研究能加强建议。按影响 + 置信度组合排序。
后续步骤：该分析下一步应产出什么产物（如用这些发现更新 PRD；触发后续问卷；委托访谈深化某主题）；该分析能支持与不能支持的决策。

拒绝协议

技能拒绝从弱数据夸大统计显著性，具体包括：

样本不足：若总体 N 太小（一般推断通常 n 小于 100；细分声明每段 n 小于 30），会说明样本量不足以支撑所请求强度的结论，将报告方向并标注置信度为低，并提示不要据此做资本分配决策。
引导性问题/工具偏差：若问题明显引导，会报告回答但将该发现标注为 Biased（基于工具偏差研究，可能高估 20-40 个百分点）。
招募中的选择偏差：若招募方式明显使样本有偏，会说明发现仅反映特定群体意见，不可推广到更广用户群。
将 NPS 作为决策输入：若用户要求仅以 NPS 分析作为战略决策输入，会说明 NPS 是追踪指标而非诊断指标，能看趋势但不能告诉你怎么做；可分析 NPS 分布与开放文本跟进，但无其他信号时无法转化为功能建议。
从横截面问卷做因果推断：会说明问卷显示 X 与 Y 相关而非 X 导致 Y；因果声明需要实验设计（技能：measure-experiment-design）或纵向数据。若该技能在环境中不可用，会直接说明，并用平实语言给出最低要求：一个决策指标、一个对照组和一个处理组、所关注效应所需的样本量、以及测试运行前固定的胜负规则。
要求单一数字：若用户问“百分之多少想要功能 X？”而无上下文，会说明单一百分比缺少上下文（样本量、问了谁、展示了什么）会产生误导，并询问是要带警示的完整分布还是换一种表述。

模式

验证单一假设：问卷为测试一个特定假设而设计。分析聚焦直接支持/反对证据、开放文本中的反证、置信度标签、下一步（发布、砍掉、迭代）。
探索性分析：问卷为发现未知未知而设计。分析聚焦开放文本主题聚类、意外模式（偏离预期回答）、后续研究待测假设。
细分分析：问卷为比较细分段而设计。分析聚焦逐段拆解、差异的统计显著性（每段样本量很重要）、对细分特定产品策略的含义。
追踪分析（NPS、CSAT 等）：问卷是重复工具。分析聚焦随时间趋势（本期 vs 上期）、按细分段的变动、与产品变更的关联（相关发布；与版本绑定的变化）。

跨技能组合

本技能输出可流入：define-problem-statement、define-hypothesis、deliver-prd、iterate-lessons-log。本技能输入常来自：实时问卷结果（原始行或预聚合摘要）加上问卷原始设计背景。对抗性评审通过 utility-pm-critic（挑战过度自信结论与遗漏的局限）。与定性互补：discover-interview-synthesis 覆盖定性，本技能覆盖定量；两者应一致，不一致本身也是发现。

输出格式

使用 references/TEMPLATE.md 中的模板组织输出。完整示例见 references/EXAMPLE.md。

质量检查清单

定稿前验证：方法论摘要审计了样本量、招募与问题设计风险；每个置信度标签都是定性且与样本量挂钩（不暗示计算精度）；n < 30 的细分声明被标注为过小；开放文本引语仅取自提供的摘录，绝不编造；每个假设都有状态，包括适用的“Not tested by this survey”；存在具体明确的“数据没有显示什么”部分；不从横截面数据做因果声明；建议带有置信度标签与反证。

交叉引用

模板：references/TEMPLATE.md；示例：references/EXAMPLE.md 及 library/skill-output-samples/measure-survey-analysis/ 中的库样本；相关现有技能：skills/discover-interview-synthesis/SKILL.md（定性补充）；skills/measure-experiment-results/SKILL.md（需要因果推断时）。