用途
fse-experiments 用于在设计或审计 ESEC/FSE 实证评估时参考，尤其适合在投稿前、实证叙事尚未确定时使用。其核心原则是“证据与主张成比例”：研究必须检验论文实际断言的内容，所用主题系统和基线需能让持怀疑态度的评审者接受。
主要能力
评估审计
- 将证据与主张形态匹配：开发者行为主张需要行为数据；检测主张需要带标注的真值；可扩展性主张需要真实规模输入下的运行时间。对代理标签的准确率不能作为实践主张的证据。
- 使用真实主题系统，按明确标准抽样，并在工件中列出。玩具基准容易招致“这在真实代码上成立吗”的质疑。
- 选择公平基线，包括最强已有技术和一个简单但合理的替代方案，并以记录在案、同等的预算调优。未调优的基线会被视为弱点。
- 报告 SE 标准统计：效应量（不仅是 p 值）、置信区间、适当的检验以及多重比较校正，并说明方差来源和运行次数。
- 定性工作需遵循方法规范：编码方案、评分者间一致性、饱和度和审计轨迹。混合方法严谨性是 FSE 的常规要求，而非次等选项。
- 对挖掘和 LLM 研究固定溯源信息，使评估可复现而非重新采样。
- 在设计阶段纳入威胁：在运行前了解研究将存在哪些混淆因素和泛化限制，并通过工具化手段加以约束。
主张到证据的设计表
资料给出六类 SE 主张及其匹配证据和应避免的拒稿模式：
- “技术检测更多真实缺陷”：需要带标注的真实故障，相对于调优基线的精确率/召回率及置信区间；避免仅用注入或玩具故障评估。
- “开发者会依据输出行动”：需要真实项目上的行为结果数据；避免用合理性评分代替有用性。
- “可扩展到大型系统”：需要跨真实规模的运行时间/内存；避免仅测试小输入。
- “发现可泛化”：需要多样主题样本并明确外部有效性限制；避免单一生态却声称普适。
- “模型带来价值”：需要移除模型的消融对比词汇/启发式特征；避免从未隔离模型的边际贡献。
污染感知的 LLM 评估
当评估涉及 LLM 时，需关注：测试主题是否可能存在于模型训练数据中（报告截止日期与项目日期，优先使用截止后或留出主题）；固定温度/种子等采样设置；在工件中存储原始提示和原始响应（仅调用实时 API 的研究无法复现，只能重新采样）；记录确切的模型标识符和访问日期；通过与非 LLM 基线的消融隔离模型的边际价值。
挖掘研究的溯源底线
固定仓库 SHA 并记录语料提取日期；归档提取的数据集而不仅是查询。说明纳入/排除标准及最终样本量，并将过滤脚本放入工件。报告如何处理重复项、分支和机器人活动，因为静默纳入会扭曲所有下游数字。
统计报告底线
每个定量比较都报告效应量和置信区间，并说明区间代表什么；说明运行次数及任何随机成分的方差来源；报告实际消耗的计算资源，而非模糊的可行性措辞。
使用方式
该技能以审计和设计指导的形式使用：在投稿前对照上述检查项审查实证评估，并可按资料给出的输出格式整理结论，包括评估就绪度（强/足够/弱）、主张到证据映射、基线公平性、污染/溯源处理情况、设计内威胁及关键下一步实验。资料还给出一个修复技术评估的示例：从真实且有日期的故障数据集中抽取缺陷，以同等且记录在案的时间预算运行两种工具，报告合理且正确的补丁数量及置信区间和效应量，人工评估部分补丁的过拟合情况，并将外部有效性（语言、缺陷类型）表述为有界威胁，且每个数字都可追溯到工件中记录的运行。
适用场景
适用于 ESEC/FSE 实证评估的设计与投稿前审计，包括缺陷检测、开发者行为研究、可扩展性评估、泛化性研究、LLM 参与的研究以及挖掘类研究。
限制
资料未提供该技能的具体安装方式、平台依赖、收费信息或自动化执行能力，相关内容暂未提供。