用途:对研究工作进行结构化同行评审,评估方法学、统计选择、可复现性与整体科学严谨性。适用场景包括审阅稿件、预印本或内部研究报告,评估研究提案或研究方案,判断某结论或建议背后的证据质量,在数据收集前对同事的研究设计提供反馈,以及审阅学位论文章节。
输入:必需研究文档(稿件、报告、提案或方案)与领域/学科背景(影响方法学标准);可选期刊或会议指南、补充材料(数据、代码、附录)、此前的审稿意见(针对修订稿)。
主要步骤:一,首轮通读,判断研究问题是否清晰具体、贡献主张是否新颖、结构是否符合IMRaD或目标场所格式、范围是否匹配目标读者。二,评估方法学:定量研究考察设计适配性、样本量论证、抽样方法、变量定义、测量工具信效度、数据收集可复现性、伦理审查;质性研究考察方法论明确性、参与者选择与饱和度、资料收集方式、研究者立场、可信度策略与伦理;混合方法考察混合理由、整合策略及两类组成部分是否各自达标。三,评估统计与分析选择,包括方法适配性、假设检验前提、效应量与置信区间、多重比较校正、缺失数据处理、敏感性分析及解释一致性,并列出p-hacking、不当检验、混淆统计显著性与实践显著性、事后假设伪装成先验假设等常见警示。四,评估可复现性,检查数据与代码可得性、软件版本与环境、随机种子、关键参数、计算环境,并按金、银、铜、不透明四档分级。五,识别选择、测量、报告、确认、幸存者与资助偏见。六,撰写评审,含摘要、主要关切(每条附具体位置与建议)、次要关切、向作者提问、正面观察与结论建议(接受/小修/大修/拒稿)。
验证要点:每条主要关切需引用具体章节、图表或论断;问题须配建议;肯定优点;统计评估须与分析匹配;须明确评估可复现性;建议须与关切严重程度一致;语气专业、尊重、同行式。
限制与注意:避免笼统批评、要求作者改做另一项研究、忽视场所范围差异、人身攻击与完美主义;若审稿人缺少某一特定方法专长,应说明并建议邀请专家审阅;若无法评估偏见,应建议作者明确说明。相关技能包括review-data-analysis、format-apa-report、generate-statistical-tables、validate-statistical-output。