用途:在 agent-eval-harness 评估流水线中,对已评分的 JSONL 输出进行深入分析,通常在完成 grade 模式生成 graded.jsonl 后使用。常规基线对比应优先使用 agent-eval-harness eval '{"mode":"compare",...}',仅在需要套件专属分析时才编写自定义脚本。
主要能力与自定义分析场景:成本分析、token 用量分析、按任务元数据(category、difficulty、source)切片、自定义回归门禁、按智能体元数据汇总。
编写自定义脚本时的要点:将 JSONL 行解析为 trial_result;校验已评分行(pass 与 score 非空);按稳定身份字段(taskId、trialIndex、runId)分组;区分独立运行指标与可比重叠指标;尽量报告不确定性(如 bootstrap 置信区间);基于组合数学的 pass@k 指标使用 exactPassAtK 命名,不要把精确值标为 estimatedPassAtK。bootstrap 与统计辅助工具保留在 references/ 目录中。
限制:资料未提供具体安装命令、依赖版本与完整示例,暂未提供。