ICSE Experiments 是一个面向软件工程实证研究的评估设计技能，旨在帮助研究者在ICSE（国际软件工程会议）研究轨道提交论文前，设计出能够通过实证主义者审计的评估方案。该技能的核心原则是“证据与声明成比例”，即论文中每一项主要声明都必须有相应强度的证据支撑，否则审稿人会指出声明与证据不匹配的问题。
用途：该技能适用于设计或审计ICSE研究轨道论文的评估部分，覆盖主题与基准选择、基线公平性、统计检验、定性研究严谨性、威胁分析和健全性实验等环节。其目标是在研究设计阶段就预防评审中常见的严谨性缺陷。
主要能力：根据原始资料，该技能提供了六类声明的最低证据要求表，包括“技术X比Y发现更多缺陷”（需真实程序、实际运行Y、相同预算、统计+效应量）、“开发者受Z困扰”（需系统观察如调查、访谈至饱和或仪器化行为）、“基于LLM的工具解决任务T”（需提示/模型消融、污染讨论、成本报告、非LLM基线）、“指标M预测缺陷”（需多项目、时间感知划分、与简单基线比较）、“我们的基准/数据集使能研究”（需构建协议、质量验证样本、许可清晰性、与现有集比较）。此外，技能还强调主题选择规则需明确（如“所有Defects4J v2项目”优于“10个热门GitHub项目”）、版本固定（仓库SHA、数据集版本、依赖锁）、防范AI-for-SE中的基准泄漏（需处理训练数据污染问题）、基线需在相同环境中以善意调优配置重跑、使用非参数统计（Mann-Whitney/Wilcoxon检验配合Vargha-Delaney Â12或Cliff's delta效应量，多重比较校正，随机技术需重复运行≥10次并报告分布）、定性研究需采样策略与饱和论证、编码手册开发、第二编码者与评分者间一致性（Cohen's kappa或Krippendorff's alpha）、引文可追溯至匿名参与者ID、工具在复现包中。技能还建议在运行研究前先撰写威胁到效度部分作为设计工具，并运行廉价的健全性实验（零技术控制、已知答案审计、指标实现交叉检查）以捕获自身错误。对于AI时代的SE论文，需将包装器与模型分离进行消融，报告令牌/美元/时间成本，声明解码参数和精确模型版本及日期。
使用方式：该技能以清单和指南形式呈现，研究者可在设计评估时逐项对照：首先列出声明清单并匹配证据要求，然后确定主题选择规则与版本固定策略，接着规划基线重跑与公平性配置，再选择统计方法并确保报告所有四项（集中趋势、离散度、显著性、效应量），对于定性研究则规划采样、编码和一致性统计，最后在设计阶段预先识别威胁并排队缓解实验，同时运行健全性实验验证自身流程。输出格式要求研究者整理出声明清单、主题信息、基线情况、统计方法、定性数据（如适用）和预先威胁列表。
适用场景：该技能适用于软件工程实证研究的设计与审计阶段，尤其针对ICSE研究轨道论文，包括技术评估、开发者行为研究、LLM工具评估、缺陷预测指标研究、基准/数据集构建等。也适用于AI时代的软件工程论文，需要消融实验和模型版本报告的场景。
限制：原始资料未提供具体工具、代码或安装命令，仅提供方法论指导；部分规范（如重复次数≥10）为社区惯例而非明文规则；所有建议基于ICSE 2027征稿要求（阅读于2026-07-08），可能随会议政策变化；技能不涉及收费、价格或平台信息；未提供实际使用步骤或教程，仅作为设计检查清单。