SuperAPI AI 工具集

create-task

设计与创作

查看项目

更新于 10-16 02:32

技能介绍

用途:引导用户端到端创建一个新的 Harbor 任务,用于评测 agent,适合搭建基准问题或 eval。

主要能力:通过 harbor task init "<org>/<task-name>" 生成任务骨架,包含 instruction.md、task.toml、environment/Dockerfile、solution/solve.sh、tests/test.sh。支持 --description、--author、--no-pytest、--no-solution、--metadata-template 等参数。可指导编写指令、构建环境、选择验证方式(Reward Kit、pytest 或自定义 shell)、编写参考解、配置 task.toml、用 Oracle 校验,并支持多步任务与网络策略、MCP、健康检查、GPU、预构建镜像等特性。

使用方式:按步骤执行,如 harbor task start-env -p "<task-path>" -e docker -a -i 交互测试环境,harbor run -p "<task-path>" -a oracle 校验,harbor run -p "<task-path>" -a terminus-2 -m anthropic/claude-sonnet-4-6 用真实 agent 测试。验证器需写入 /logs/verifier/reward.txt 或 reward.json,test.sh 使用绝对路径。

适用场景:需要设计 agent 评测任务、基准问题或 eval 时。

限制:资料未提供收费、价格、平台支持范围等信息;部分功能依赖 provider 是否支持 dynamic_network_policy,普通 Docker 不支持动态网络切换。