Research Design Planner
概述
该技能引导 Research Agent 系统地编制研究方法论方案（research design）。该方案确定研究取向、构念/变量映射、数据检验流程，以及实验情境（尤其适用于计算/AI/ML 领域），以确保研究结构化推进并可复现（reproducible）。
依赖项
research-question-builder
快速开始
使用示例： “使用 research-design-planner 技能，设计使用 GSM8K 基准数据集、以 GPT-4 为基线的 LLM 稳健性对比实验流程。”
工作流
- 确定研究取向（Research Approach）
确定所选取向并给出理由：
定量：统计假设检验、结构化问卷或实验室实验。
定性：深度案例研究、主题分析、半结构化访谈或民族志。
混合方法：定量与定性的顺序式或并行式组合。
计算 / AI / ML 实验：模型开发研究、性能分析、稳健性测试或消融研究。
设计科学研究：构建新的系统/软件制品并评估其性能。
- 变量 / 构念操作化
针对定量/社会科学研究：识别自变量（IV）、因变量（DV）、中介/调节变量及其测量指标。
针对计算/AI 研究：确定基线模型、输入数据、控制变量与主要性能指标（如 F1-score、Latency、Accuracy）。
- 数据收集与抽样计划
设计所用数据来源（一手数据与二手数据）。
确定抽样方法（概率抽样与非概率抽样）或数据集收集细节（如爬取、公开基准数据集、API 日志）。
设计数据清洗（preprocessing）与标注技术。
- 数据分析与验证计划
确定合适的统计分析方法（如 ANOVA、SEM、回归）或模型训练流程（model training workflow）。
设计工具效度/信度检验，或针对结果可靠性的交叉验证计划。
- AI / 机器学习研究的专门组件（如相关）
对于基于 AI/ML 的研究，实验设计应详细说明：
数据集与数据划分：数据划分情境（train/validation/test split）以及类别不平衡（class imbalance）处理。
基线模型：将接受同等条件测试的标准对比模型（公平比较）。
稳健性与压力测试：在极端条件下测试模型（数据噪声、对抗攻击或训练分布外/out-of-distribution）。
消融研究（Ablation Study）：通过逐步禁用各组件来验证新架构各组件贡献的测试计划。
常见错误与关键规则
设计与 RQ 不同步：选择无法回答研究问题（RQ）的分析方法。
有偏的实验比较（Unfair Comparison）：在 ML 研究中，在专门优化的环境中测试新模型，而基线模型未进行公平的超参数调优。
缺乏验证计划：未包含统计显著性检验或数据稳健性测试，导致结果容易被视为偶然（cherry-picked）。
可复现性程序细节不足：未详述所用软件配置、库（libraries）、硬件或随机种子（random seed）。