用途:查看和分析 Inspect 评估(eval)日志文件,既可自行读取 .eval 文件,也提供 CLI 与 Python API 两种方式。
主要能力:CLI 提供 uv run inspect log list --json(可按 --status success/error 或 --retryable 筛选)、uv run inspect log dump <log_file_path>、uv run inspect log convert source.json --to eval --output-dir log-output、uv run inspect log schema,以及交互式查看器 uv run inspect view。Python API 从 inspect_ai.log 导入 list_eval_logs、read_eval_log、read_eval_log_sample、read_eval_log_samples、read_eval_log_sample_summaries、write_eval_log、retryable_eval_logs、recompute_metrics、resolve_sample_attachments 及 EvalLog、EvalSample 等类型。可列出日志并按格式或自定义条件过滤,读取完整日志或仅头部(header_only=True),按 id/epoch 或 uuid 读取单个样本,流式读取样本,读取样本摘要用于快速概览;EvalLog 含 version、status、eval、plan、results、stats、error、samples、reductions、location;EvalSample 含 id、epoch、input、target、messages、output、scores、metadata、store、events、error、total_time、model_usage。
使用方式:先检查 status 是否为 success 再分析结果;用 results.scores 读取聚合指标与 metrics;可筛选 error 样本、统计 model_usage 的输入输出 token、跨多次运行比较同一任务的准确率、用 retryable_eval_logs 找出可重试日志。支持 .eval(二进制、体积约为 JSON 的 1/8、支持增量访问)与 .json 两种格式,可混用。修改日志后可用 recompute_metrics 重算指标再写回。环境变量有 INSPECT_LOG_DIR(默认 ./logs)和 INSPECT_EVAL_LOG_FILE_PATTERN。
限制:大日志需采用 .eval 格式、仅读头部、流式读取或摘要方式以避免内存不足。相关资料未提供更多平台、收费或定价信息。