用途:该技能把 Duolingo 式的实验文化包装为一套决策协议,核心是 Show Don't Tell——当人们对某个想法有分歧时,由实验数据而非更资深者的直觉来裁决,想法可以被快速否决。整体以知识图谱形式组织,先浏览各条描述,再按需沿 [[wikilinks]] 进入具体参考文档。
主要内容分为几组:协议部分包含 show-dont-tell(指标而非头衔做决定)、hypothesis-design(可检验假设与愿望的区别)、ab-test-structure(实验组/对照组、随机化单元、曝光规则)、ladder-of-evidence(访谈、对照实验、A/B 测试、结果研究四种方法及其盲区)。指标部分涉及 metric-selection(选择真正映射长期留存的北极星指标)、guardrail-metrics(不能下降的护栏指标,含蚕食检查)、sample-size(样本量与时长、提前停止的代价)、outcome-not-engagement(参与度只证明功能可被接受,只有针对目标失败项的留出组差值才能证明有效)、invariant-metric-for-redesigns(结构性改版应按最终结果而非其调优的代理指标评价)。
测量设计部分包括 design-the-population(谁有资格进入比较决定测的是什么)、baseline-at-first-contact(首次接触时记录一次自报起点,才能区分教学与筛选)、probes-inside-the-product(把测量嵌入日常使用而非另建测试面)、quasi-experiments(无随机化的因果读法:自我对照、匹配队列、分层内评分)。陷阱部分包括 novelty-effects(第三周后衰减的提升如何发现与折减)、ship-and-iterate(何时「够好即可上线」优于「完美再测」)、unmeasurable-wins(结构上无法做 A/B 测试的变更,以及可测量性如何悄悄左右路线图)。纪律部分包括 kill-criteria(停止实验而非榨取其收益的阈值)与 experiment-cadence(让「每周数百个实验」可维系的每周评审节奏)。
相关的兄弟技能包括 duo-retention(每条留存主张背后都有 A/B 测试,需同时引用)、duo-product(Ship It 与 Show Don't Tell 是同一文化的两个视角)、duo-culture(只有分歧是安全的,实验才可行,这也是文化问题)。资料未提供安装命令、平台依赖或收费信息。