用途:该技能用于系统评估科学研究的方法学严谨性与证据质量,适合在评阅论文、评估实验设计、审查科学主张与结论、开展系统综述或荟萃分析时使用。
主要能力:一是方法学批评,检查设计与研究问题是否匹配、能否支持因果主张、样本与对照组是否合适,并从内部效度、外部效度、构念效度、统计结论效度四方面分析,审查随机化、分配隐藏、盲法、对照条件、测量工具与结果评估。二是偏倚识别,覆盖研究者认知偏倚(确认偏倚、HARKing、发表偏倚、选择性报告)、选择偏倚、测量偏倚与分析偏倚(p-hacking、结局切换、亚组钓鱼),并评估混杂因素是否被测量与控制、是否存在其他解释。三是统计分析评估,检查事前功效分析与样本量、检验与数据分布的匹配、多重比较校正、p 值解释、效应量与置信区间、缺失数据处理及回归模型过拟合等问题。四是证据质量评估,按研究设计层级排序,并提示设计层级高不等于质量高;可结合 GRADE 降级因素(偏倚风险、不一致性、间接性、不精确性、发表偏倚)与升级因素(大效应、剂量反应等),使用 Cochrane RoB 2、ROBINS-I、Newcastle-Ottawa 等工具。五是逻辑谬误识别,如相关当因果、事后归因、以偏概全、诉诸权威、基础率忽视、德州神枪手、检察官谬误、不可证伪等,指出错误推理并说明有效推断所需证据。六是研究设计指导与主张评估,帮助细化研究问题、选择设计、规划偏倚控制、样本、测量与分析,并检查结论是否与证据相符、是否过度外推。
使用方式:技能目录内提供参考文档(references/scientific_method.md、experimental_design.md、common_biases.md、statistical_pitfalls.md、evidence_hierarchy.md、logical_fallacies.md)。图形为可选项,仅在用户明确要求时生成;可借助 scientific-schematics 技能,设置 OPENROUTER_API_KEY 后运行:python scripts/generate_schematic.py "GRADE evidence assessment flowchart with downgrade and upgrade factors" -o figures/grade_flowchart.png --doc-type report。注意该方式会将提示发送至 OpenRouter 第三方 API,未公开的敏感内容不应包含。
限制:官方资料未提供价格、平台支持范围与具体效果说明;本技能用于批判性分析,不替代领域专家判断,也不证明某结论必然错误。