用途：从无头 CLI 智能体采集执行轨迹，用于下游评测、训练数据（SFT/DPO）生成、智能体行为回归测试以及不同配置下的响应对比。核心原则是“一次采集、多种视图”：只输出完整轨迹 JSONL，不提供 --format 参数，改由独立命令派生视图。
主要能力：capture 执行提示词并输出 results.jsonl；trials 多次运行以计算 pass@k、pass^k；summarize 生成 summary.jsonl 或 Markdown；calibrate 抽样失败用于区分智能体失败与评分器缺陷；validate-refs 检查参考解法能否通过评分器；balance 分析测试集覆盖；schemas 导出 Zod/JSON Schema。流水线命令 run、extract、grade、format、compare 支持 Unix 风格组合。compare 支持 weighted、statistical、custom 策略，输出质量、延迟、可靠性、能力、一致性与 flakiness 等聚合报告，statistical 可给出 95% 置信区间。
使用方式：推荐不安装直接运行，例如 bunx @plaited/agent-eval-harness capture prompts.jsonl --schema ./claude.json -o results.jsonl，或安装 bun add @plaited/agent-eval-harness。capture 常用参数包括 -s/--schema、-o/--output、-c/--cwd、-t/--timeout、-j/--concurrency、--workspace-dir、--grader、--progress、--append、--debug。流水线示例：cat prompts.jsonl | bunx @plaited/agent-eval-harness run -s claude.json | ... extract -s claude.json | ... grade -g ./grader.ts | ... format -f markdown > report.md。--workspace-dir 为每个试跑创建独立目录，且目录会保留，需手动清理（如 rm -rf ./workspaces，CI 中可加 always() 的清理步骤）。
适用场景：需要采集轨迹做评测、生成训练数据、构建回归夹具、比较 MCP/技能/模型版本或不同智能体时使用。
限制：评分逻辑、pass/fail 判定与 LLM-as-judge 提示词需使用者自备（如 Braintrust 或自定义脚本）。--simple 与 --shell 模式通过 shell 执行提示词，不可用于不可信输入，应使用 --schema 模式；-j/--concurrency 是在提示词之间并行，单个提示词的 k 次试跑仍串行。其余细节暂未提供。