用途:对科学研究的严谨性进行系统评估,用于评估方法学与实验设计、判定统计有效性与证据质量、识别偏倚与混杂、审查科学论断与结论、开展系统综述或元分析,并按 GRADE 或 Cochrane 风险偏倚框架做批判分析。
主要能力:
- 方法学批判:评估研究设计是否匹配研究问题、能否支持因果结论,分析内部效度(随机化质量、混杂控制、选择偏倚、失访)、外部效度、构念效度与统计结论效度;检查随机化实施、盲法、对照条件、测量工具的信效度与标准化。
- 偏倚检测:识别研究者认知偏倚(确认偏倚、HARKing、发表偏倚、选择性报告)、选择偏倚(抽样、志愿者、失访、幸存者)、测量偏倚(观察者、回忆、社会期许、工具)与分析偏倚(p-hacking、结局切换、选择性报告、亚组钓鱼),并检查混杂及未测量混杂。
- 统计分析评价:样本量与检验效能、统计检验适用性与假设、多重比较校正、p 值解释、效应量与置信区间、缺失数据处理、回归与建模(过拟合、外推、多重共线性),以及相关当因果、均值回归、基础率忽视等常见陷阱。
- 证据质量评估:研究设计层级(系统综述/元分析、RCT、队列、病例对照、横断面、病例系列、专家意见),设计内质量与风险偏倚工具,GRADE 降级(偏倚风险、不一致性、间接性、不精确性、发表偏倚)与升级(大效应、剂量反应、混杂反向),以及证据收敛性。
- 逻辑谬误识别:因果类、概括类、权威与来源类、统计类、结构类及科学特有谬误,并说明为何推理有误、需要何种证据。
- 研究设计指导:细化研究问题、选择设计、偏倚最小化、样本规划、测量策略、分析计划与透明性(预注册、CONSORT/STROBE/PRISMA、数据共享)。
- 论断评估:识别论断类型与强度、评估证据、检查逻辑连接、评估置信与证据的比例、检查过度概括及危险信号。
使用方式:在需要评估科研方法、统计或证据质量时应用本技能;生成文档时可按资料所述配合 scientific-schematics 技能生成示意图,命令为 python scripts/generate_schematic.py "your diagram description" -o figures/output.png,输出保存于 figures/ 目录。
适用场景:评审研究论文、评估实验设计、解释矛盾证据、开展文献综述、比较冲突发现、评估媒体报道的科研结论。
限制:资料未提供收费、价格、平台支持范围及效果保证等信息;具体操作依赖所审查研究的可获取材料,结论质量受原始报告完整性与透明度限制。