本技能聚焦产品效力(efficacy)测量,核心主张是:参与度只是事件流里免费得到的指标,只能证明用户回来了;要证明产品真正有效,还需回答是否学会了、是否会用、外部是否认可。
用途:为产品效力声明设计可经受质疑的测量方案,把部分评分权交给不受自己控制的东西,如外部标准、独立编写的题库、整体用户群体的聚合数据与分布形态。
主要能力分为四部分。其一,决定测什么:享乐、掌握、真实任务应用与外部标准是四个独立问题,各需独立方法,且都不是单一数字。其二,借用你无法控制的工具:让用户做在位者的测试,与该在位者用户的已发表研究对比,并报告自己处于劣势的维度。其三,设计工具:题库应独立于所交付内容编写,作为留出集;在产品路径中嵌入前测与后测作为关卡,讲授前先问下一段;每人少量题目、跨全体聚合,用于评价内容而非用户,得到排序后的改进清单。其四,评分:自适应更短而非更简单,按当前估计选下一题,使每个回答都有信息量;部分给分优于二元评分,后者会丢弃区分相邻能力层级的细节;看分布而非分数,天花板效应意味着工具恰好在该做决策的位置停止区分人群。
边界:为实时会话中的具体个体选择下一题、在无聊与迷失之间取带、联合建模题目与用户,属于相邻技能 duo-difficulty-calibration 的范围。自适应机制两者都有,但输出用途不同:产出分数或产品证据归本技能,为单人组装的会话归另一技能。
相关技能包括 duo-experimentation(验证改动是否有效)、duo-difficulty-calibration、duo-product、duo-learner-motivation。资料来源于 blog.duolingo.com,涉及效力研究框架、已发表熟练度研究、检查点与学习测验、分级测试及 Duolingo English Test,每个节点带日期引用。具体使用步骤、收费与平台信息暂未提供。