Harbor 是一个面向智能体评测的框架，由 Terminal-Bench 的作者开发。它主要用于运行 Harbor 命令、创建与校验 SkillsBench 任务，以及在容器化环境中对智能体进行基准测试。
主要用途与能力： 通过命令行安装和使用，可对任务进行校验、运行 oracle 解法验证任务正确性，并指定智能体与模型进行评测。支持列出数据集、使用云端环境并行执行任务，以及按任务结构管理评测流程。
常用命令： 安装：uv tool install harbor 校验任务：harbor tasks check tasks/<task-id> 运行 oracle（须 100% 通过）：harbor run -p tasks/<task-id> -a oracle 指定智能体与模型：harbor run -p tasks/<task-id> -a claude-code -m 'anthropic/claude-opus-4-5' 列出数据集：harbor datasets list 云端并行执行：harbor run -d "dataset@version" -a "<agent>" -m "<model>" --env "daytona" -n 32
任务结构：每个任务目录包含 task.toml（元数据）、instruction.md（智能体指令）、environment/（含 Dockerfile 与 skills/）、tests/（test.sh 运行 pytest 并写 reward.txt，test_outputs.py 为测试用例）、solution/（solve.sh 为人工编写的 oracle 解法）。
技能支持：技能放在 environment/skills/ 中，在任务 Dockerfile 里被复制到不同智能体的技能目录，如 Claude Code 的 .claude/skills/、Codex 的 .codex/skills/、OpenCode 的 .opencode/skill/、Goose 的 .goose/skills/、Factory 的 .factory/skills/、.agents/skills/ 通用格式以及 GitHub Copilot 的 .github/skills/。Amp 与 Letta 暂未由 Harbor 支持。
结果位置：jobs/<timestamp>/<task-id>/ 下包含 trial.log、verifier/reward.txt（0 失败或 1 通过）、verifier/ctrf.json。
限制：Harbor 目前不支持 Amp 与 Letta 的基准测试；部分细节如收费、价格与更多平台支持暂未提供。