用途:在训练后、与基线对比时,或进行 LLM/系统评估、面对噪声或可疑结果时,对模型做严格评估并检查其失败位置。
主要能力:先收集任务、数据集、划分、指标与基线,模型输出或失败样例,带随机种子/不确定性的汇总数字,评估需支撑的部署或论文结论,以及已知高风险切片。随后核查指标实现与数据划分,报告带来源的总体结果,并按难度、长度/规模、类别不平衡、领域偏移、提示族、鲁棒性设置等相关因素做切片性能分析。人工检查失败样本并聚类,区分随机噪声、系统性失败模式和评估器缺陷,再在同一批切片上与最强基线比较,最后给出具体后续行动。
使用方式:按上述流程执行,输出应包含已核查指标、切片分析、失败分类、疑似原因、建议修复或后续实验。
限制与规则:不得抹平不利的差异;若置信区间或多随机种子重要,需明确说明;更高的平均值仍可能掩盖模型在重要切片上更差。资料未提供具体安装命令、代码示例或平台支持信息。