测量理论基础（Measurement Theory Foundations）
该技能的核心目标是：确立一项观测是否支持其预期的解释与决策。一个可重复的分数，也可能始终在测量错误的东西。
用途
当任务需要判断某个指标、问卷、基准测试、传感器、评分或复合分数是否测量了其预期目标，或者判断分数能否跨群体、跨工具、跨时间进行比较时，使用本技能。
不适用情形：当任务仅涉及抽样不确定性、因果识别、选择行动或实现评估流水线时，不应使用本技能。这些分别属于统计推断、因果推断、决策理论和 ai-evals。
工作流程
- 定义预期解释、目标人群、决策以及测量误差的代价。识别哪些是被观测的，哪些仍是潜在的。
- 在测量原语中选择物理测量分支或心理测量分支。不要将心理测量信度翻译为计量学溯源，也不要未经论证就把基准分数当作物理量。
- 用以下八项原语审计工具。只使用实际可获得的证据；标记缺失的证据，而不是自行提供阈值或效度声明。
- 对于分数比较，阅读可比性与漂移。保留工具版本、评分变化、施测条件和人群差异。
- 对于 LLM 基准或 LLM 评判分数，还需阅读 AI 评估测量。
- 完成测量审计模板，合成示例仅作为格式示例使用。
快速参考：八项原语
- 构念/被测量：明确目标、领域、人群和预期用途。
- 操作化：识别观测、工具、评分，以及构念代表性不足或无关变异。
- 效度：评估针对该解释和用途的证据；绝不能仅从信度推断效度。
- 信度/精度：明确被重复的是什么——题目、评分者、场合、任务或工具；估计相关不确定性。对于 LLM 评判，需指明方面（评判者、提示模板、顺序、随机种子）。
- 量表/变换：识别有意义的比较和运算；任意零点不支持比率声明。
- 误差/不确定性：区分系统偏差、随机误差、缺失和测量模型中的不确定性。
- 校准/溯源：识别参考和范围；概率预测的校准不同于计量学校准。
- 不变性/漂移：判断同一解释能否在群体、时间、环境和工具变化后依然成立。一个已成为目标（门槛、排行榜、训练目标）的分数处于选择压力之下：应将其视为已改变的工具（古德哈特定律和坎贝尔定律），在把后续数值读作原始构念之前重新审计效度。
完成标准
对每个预期解释返回支持、有条件或证据不足的结论，并附上证据和限制。结论是审计意见，不是认证。指出缺失的证据以及解决它所需的最小研究或校准。
不要使用通用的 Cronbach alpha 截断值。内部一致性本身既不能确立单维性、重测稳定性、一致性，也不能确立效度。将题目层面的序数反应与分析复合分数所用的假设分开。
导航
- 测量原语——定义、假设和反例。
- 可比性与漂移——跨群体和纵向检查。
- AI 评估测量：针对 LLM 基准和评判阅读。涵盖方面与 G 理论 D 研究、评判者或基准变更后的链接、IRT/DIF、饱和以及构念效度清单。
- 已完成示例——合成基准审计。
- 输出模板——交付物结构。
- 带日期的一手来源——来源范围和验证截止日期。