SuperAPI AI 工具集

tao-run-on-brev

部署与运维

查看项目

更新于 10-16 04:34

技能介绍

用途:在 NVIDIA Brev 按需 GPU 实例上运行 TAO 训练、评估或推理,并管理 Brev 部署。Brev 实例预装 NVIDIA 驱动、CUDA、Docker 与 NVIDIA Container Toolkit,采用实例制(非作业制):创建实例、用 brev exec 执行命令、完成后删除。TAO SDK 的 BrevHandler 可将其包装为标准作业接口,但非必需,brev exec docker run 即可满足。

主要能力与用法:支持实例复用(backend_details 传入 instance_id)或一次性实例;单实例多 GPU 可用 gpu_count,torchrun 与 PyTorch DDP 可在实例内运行,但不支持多节点。数据无共享 NFS/Lustre,全部经 S3 由 script_runner 的 fsspec 集成流转;实例本地磁盘在 stop/start 间保留,delete/create 后不保留。TAO 容器镜像经 docker login nvcr.io 认证后运行。

前置检查:需安装 brev CLI 与 brev-cli agent skill 并登录;无头环境必须先 brev login --token "$BREV_API_TOKEN",否则 brev ls 等命令会因无 stdin 返回 auth EOF。多凭据或多工作区账号需显式传 --cloud-cred-id 与 --workspace-group-id。新实例 RUNNING 早于 SSH 就绪,首次 brev exec 前应轮询直至成功;冷启动超时应设 ≥600 秒。删除用 brev delete <instance>,CLI 不接受 --yes。

限制:多节点暂不支持;GPU 类型可用性随提供商变化;S3 凭证需单独配置;未提供具体收费与平台细节。