SuperAPI AI 工具集

harbor

智能体与模型

查看项目

更新于 10-16 01:35

技能介绍

Harbor 是由 Terminal-Bench 创建者提供的智能体评测框架,主要用于对智能体进行基准测试与任务验证。文档地址为 https://harborframework.com/docs,入门指南见 https://harborframework.com/docs/getting-started,代码仓库为 https://github.com/laude-institute/harbor。

主要能力与用法:安装命令为 uv tool install harbor。可用 harbor tasks check tasks/<task-id> 校验任务;用 harbor run -p tasks/<task-id> -a oracle 运行 oracle 参考解(须 100% 通过);用 harbor run -p tasks/<task-id> -a claude-code -m 'anthropic/claude-opus-4-5' 指定智能体与模型运行。可用 harbor datasets list 列出数据集。云端并行执行示例为 harbor run -d "dataset@version" -a "<agent>" -m "<model>" --env "daytona" -n 32。

任务结构:tasks/<task-id>/ 下包含 task.toml(元数据)、instruction.md(智能体指令)、environment/(Dockerfile 与 skills/)、tests/(test.sh 运行 pytest 并写入 reward.txt,test_outputs.py 为测试用例)、solution/(solve.sh 为人工编写的 oracle 解)。任务格式细节见 references/task-format.md。

结果位于 jobs/<timestamp>/<task-id>/,含 trial.log(执行日志)、verifier/reward.txt(0 失败或 1 通过)、verifier/ctrf.json(测试详情)。.local-workspace/ 为被 Git 忽略的目录,用于克隆 PR、临时文件与外部仓库;.local-workspace/.env 可能包含 ANTHROPIC_API_KEY 等凭证,在需要 API 访问时检查使用。

技能支持:将技能放入 environment/skills/,并需在 Dockerfile 中复制到各智能体路径,例如 COPY skills /root/.claude/skills、/root/.codex/skills、/root/.opencode/skill、/root/.goose/skills、/root/.factory/skills、/root/.agents/skills、/root/.github/skills。支持的可评测技能目录包括 Claude Code 的 .claude/skills/、Codex 的 .codex/skills/、OpenCode 的 .opencode/skill/ 或 .claude/skills/、Goose 的 .goose/skills/ 或 .claude/skills/、Factory 的 .factory/skills/、便携格式 .agents/skills/(Goose、Amp 使用)、GitHub Copilot 的 .github/skills/。Harbor 目前尚不支持 Amp 的 .agents/skills/ 或 .claude/skills/ 以及 Letta 的 .skills/。

限制说明:资料未提供收费、价格、平台支持范围与性能指标等信息。