SuperAPI AI 工具集

tao-run-platform

部署与运维

查看项目

更新于 10-16 04:34

技能介绍

用途:TAO Execution SDK 是可选的 Python 层,面向需要作业句柄、S3 输入输出封装或平台特定能力的用户,例如 Lepton 多节点、SLURM/Lustre 队列、Kubernetes Job、本地 Docker 调试、Brev 实例复用。多数 TAO 技能只用 docker run 即可,无需该 SDK;当需要轮询状态与流式日志、平台仅提供 API、入口点内需要 S3 感知的下载上传,或串联多个作业并持久化状态时应使用。

主要能力:各平台 SDK 实现统一核心接口 sdk.create_job、get_job_status、get_job_logs、cancel_job、get_failure_analysis、get_job_results_dir、check_path、list_path;Lepton 额外提供 get_job_replicas 诊断挂起作业,Brev 额外提供 delete_instance 与 list_instances。作业命令通过 build_entrypoint 构造,运行时下载声明的输入、将远程 URI 重写为本地路径写入配置、执行命令并上传输出。监控可轮询状态与日志,失败时 get_failure_analysis 会分类根因并给出修复建议。

使用方式:先安装 pip install nvidia-tao-sdk[all],包索引依赖运行环境自身的 pip 配置。凭证来自环境变量,由 ~/.config/tao/.env 自动加载:Lepton 需 LEPTON_WORKSPACE_ID、LEPTON_AUTH_TOKEN;Brev 可用 BREV_API_TOKEN 或手动 brev login;S3 输入输出需 S3_BUCKET_NAME、ACCESS_KEY、SECRET_KEY,可选 S3_ENDPOINT_URL、CLOUD_REGION;容器环境可用 NGC_KEY、HF_TOKEN。启动前应确认目标平台、是否保持长时监控(默认开启)、状态更新间隔(默认 5 分钟),并通过打包脚本列出平台、解析默认镜像、检查模型的 AutoML 元数据。

适用场景与限制:适用于向上述平台提交与监控 GPU 训练作业、并行参数扫描、跨上下文持久化运行状态。限制包括:SDK 不读取技能、不做超参优化、不对配置发表意见、不自动选择平台、不负责工作流编排;凭证值由代理仅做存在性检查,不读取内容;不会静默自动安装。平台与凭证要求、错误映射、编排模式等细节见其引用文档。具体收费与价格暂未提供。