用途：在 ACL 论文的实验方案仍可修改时，用于设计或审计实验。ACL 的证据标准不是“一次超过基线”，而是对语言能力的可辩护测量，并检查失败模式。
主要能力与要求： 基线诚实性：必须包含最强的低成本基线，如提示良好的当前 LLM；基线需与方法同等调优（相同搜索预算与数据）；在能说明任务难度时报告平凡基线（多数类、复制输入、仅检索）。 评测设计：主张的广度要与证据匹配，“通用”主张需多数据集，跨语言主张需类型学上不同的语言；生成任务需为自动指标提供理由，将 n-gram 或嵌入指标与人工或 LLM 评判配对，并在依赖 LLM 评判前用人工标签验证；最终运行前固定评测协议，避免通过重复提交窥探测试集。 统计底线：小差异需显著性检验（bootstrap/permutation）或区间重叠的诚实报告；微调结果需多种子并报告均值与偏差；提示 LLM 结果需多种提示改写或采样并报告敏感范围；人工评测需报告每项评分者数、一致性统计（如 Krippendorff's alpha）与报酬；指标相关性主张需置信区间并与已有指标相关性比较。Responsible NLP 清单 C 节要求描述统计与误差条。 污染与效度控制：明确推理测试集是否在预训练数据中（发布日期与模型截止、重叠扫描或保留新测试项）；注意提示泄漏（少样本示例来自测试分布、指令嵌入标签提示）；基于标注的数据需先量化标签质量。 消融与机制主张：摘要中提到的每个组件都需消融行，且消融行需与主结果相同的方差处理；优先测试解释的消融而非组合扫描；若主张“方法 X 有帮助”，需在两种模型规模上展示或明确说明单规模限制。 错误分析：从最强配置采样 100-200 个失败案例，归纳 4-8 个功能性错误类别，双重标注子集并报告一致性，报告方法与最佳基线的类别频率，将最持久的两类写入 Limitations。
使用方式：提供预运行设计工作表，包含主张、数据集、基线、运行/方差、显著性、人工评测、污染、消融、错误分析等字段；输出格式为证据判定、基线缺口、统计缺口、效度威胁、最高价值的下一次运行。
限制：资料未提供具体安装命令、平台、收费或价格信息；内容为实验设计指导，不包含可直接运行的代码或工具。