用途:该工作流借助 Inspect Scout 自动分析评测日志文件中的智能体轨迹,比人工分析更快,但可能遗漏细微问题。
主要能力:默认扫描器检查 outcome_summary(成功或失败原因摘要)、external_failure(验证码、限流、网络、依赖缺失导致的失败)、formatting_failure(答案格式错误但内容正确)、reward_hacking_success(通过奖励黑客或非预期手段成功)、ethical_refusal(因伦理或安全原因拒绝)。若已有历史版本目录,还会纳入其中的扫描器。
使用方式:先确定日志文件与评测名称,创建 agent_artefacts/trajectory_analysis/<eval_name> 目录。查看默认扫描器后告知用户检查项并询问是否追加。如需自定义,在对应目录创建 eval_scanners.py,用 InspectEvalScanner 包装并加入 SCANNERS 列表,需询问每个扫描器是否使成功或失败失效。用 uv run python agent_artefacts/trajectory_analysis/inspect_scout/run_all_scanners.py <log_file> --dry-run 查看样本数;超过 100 个样本时询问是否全量或子集,并说明 Inspect Evals 建议至少 100 个样本。运行命令:无自定义扫描器时用 uv run python agent_artefacts/trajectory_analysis/inspect_scout/run_all_scanners.py <log_file> -o agent_artefacts/trajectory_analysis/<eval_name>/scout_results,可加 --limit <num>;有自定义扫描器时加 -n <eval_name>。随后依次运行 extract_results.py 与 analyze_validity.py,最后在 <eval_name>_<model_name>_ANALYSIS.md 中撰写摘要,文件已存在时询问覆盖或按日期新建。
适用场景:对智能体评测日志进行批量轨迹审查与有效性分析。
限制:自动分析可能遗漏细微问题;样本量、扫描器配置与结果解读需人工确认;资料未提供具体收费、平台支持与效果数据。