用途:在 DGX Cloud Lepton 托管 GPU 平台上提交与管理 TAO 作业(训练、评估、推理),无需自行管理 Kubernetes 或 SLURM。Lepton 为 API 优先,无 docker-run 替代方式。
主要能力:通过 LeptonSDK.create_job 提交容器作业,支持平台通用参数(image、command、gpu_count、env_vars、inputs、outputs、hooks)及 Lepton 专属参数 resource_shape(显式 GPU 规格 ID)、dedicated_node_group(独占分配,避免抢占)、num_nodes(分布式训练节点数,默认 1)、mounts(NFS/Lustre 挂载,未设时自动探测)。num_nodes>1 时启用作业内通信与 PyTorch 分布式初始化,设置 WORLD_SIZE、NUM_GPU_PER_NODE,并注入 LEPTON_JOB_WORKER_INDEX 等变量,通过 bootstrap 拉取官方 lepton_env_to_pytorch.sh 转换脚本生成 MASTER_ADDR、MASTER_PORT、NNODES、NODE_RANK、WORKER_ADDRS。可用 sdk.list_resource_shapes()、sdk.get_volumes()、sdk.get_storage_permissions() 发现资源。存储层为 S3 兼容,统一使用 cloud_metadata 键 aws 与 s3:// 协议,不可用 lepton://。挂载自动探测并优先顺序为 lustre > filestore > 首个可用;Lustre 无内置缓存失效,需改文件名或用新路径避免读到旧数据。
必要用法:需安装带 Lepton extra 的 TAO SDK,命令为 pip install "$PIN"(PIN 由 resolve_versions_key.py 解析 wheels.tao_sdk_lepton)。必填凭据 LEPTON_WORKSPACE_ID、LEPTON_AUTH_TOKEN;可选 NGC_KEY、ACCESS_KEY/SECRET_KEY、S3_ENDPOINT_URL、S3_BUCKET_NAME、CLOUD_REGION。提交前需运行 scripts/check_tao_launch_preflight.py --platform lepton 校验工作站可达性,并用 aws s3 ls 验证路径可读。
监控与诊断:sdk.get_job_status 查高层状态,sdk.get_job_replicas 查副本启动详情(含 readiness_issue),sdk.get_job_logs 取日志,sdk.get_failure_analysis 自动根因分析(err_class、suggestion、节点事件)。并行作业可用 execute_step 传 split_id,仅重试失败分片。
限制:共享节点组被抢占会导致整个作业失败,v1 不做弹性重启,长任务建议专用节点组;Lustre 挂载对每个副本相同,无需按副本包装 I/O。常见故障包括 OOM、镜像拉取失败、资源不可用、认证失败、节点不健康、作业被驱逐。