SuperAPI AI 工具集

lambda-labs-gpu-cloud

部署与运维

查看项目

更新于 10-15 20:21

技能介绍

Lambda Labs GPU Cloud 是面向机器学习训练与推理的 GPU 云平台,提供预留和按需 GPU 实例,并配有 1-Click Clusters 集群方案。

用途 适合以下场景:需要独占 GPU 实例并具备完整 SSH 访问;运行数小时到数天的长时间训练任务;希望定价简单且无出网费用;需要跨会话持久存储;需要高性能多节点集群(16-512 张 GPU);希望使用预装 ML 软件栈(Lambda Stack,含 PyTorch、CUDA、NCCL)。若需要无服务器自动扩缩容,可考虑 Modal;多云编排与成本优化可考虑 SkyPilot;更便宜的抢占式实例与无服务器端点可考虑 RunPod;GPU 市场最低价可考虑 Vast.ai。

主要能力 GPU 种类:B200、H100、GH200、A100、A10、A6000、V100。 Lambda Stack:预装 PyTorch、TensorFlow、CUDA、cuDNN、NCCL。 持久文件系统:实例重启后数据保留。 1-Click Clusters:16-512 张 GPU 的 Slurm 集群,配 InfiniBand。 定价简单:按分钟计费,无出网费用。 全球区域:12 个以上区域。

GPU 实例与价格(资料所列) B200 SXM6:180 GB,$4.99/GPU/小时,适合最大模型与最快训练。 H100 SXM:80 GB,$2.99-3.29,适合大模型训练。 H100 PCIe:80 GB,$2.49,性价比 H100。 GH200:96 GB,$1.49,适合单 GPU 大模型。 A100 80GB:80 GB,$1.79,生产训练。 A100 40GB:40 GB,$1.29,标准训练。 A10:24 GB,$0.75,推理与微调。 A6000:48 GB,$0.80,显存/价格比好。 V100:16 GB,$0.55,预算训练。

实例配置:8x GPU 适合分布式训练(DDP、FSDP);4x GPU 适合大模型与多 GPU 训练;2x GPU 适合中等负载;1x GPU 适合微调、推理与开发。启动时间:单 GPU 约 3-5 分钟,多 GPU 约 10-15 分钟。

使用方式 账户设置:在 https://lambda.ai 创建账户,添加支付方式,从控制台生成 API key,并添加 SSH 密钥(启动实例前必需)。 控制台启动:访问 https://cloud.lambda.ai/instances,点击 Launch instance,选择 GPU 类型与区域,选择 SSH 密钥,可选挂载文件系统,启动后等待 3-15 分钟。 SSH 连接:从控制台获取实例 IP,执行 ssh ubuntu@<INSTANCE-IP>,或使用指定密钥 ssh -i ~/.ssh/lambda_key ubuntu@<INSTANCE-IP>。

Lambda Stack 验证 nvidia-smi 检查 GPU;python -c "import torch; print(torch.cuda.is_available())" 检查 PyTorch;nvcc --version 检查 CUDA 版本。

Python API 安装:pip install lambda-cloud-client。使用 API key 配置 Configuration(host 为 https://cloud.lambdalabs.com/api/v1,access_token 取自环境变量 LAMBDA_API_KEY)。可列出可用实例类型、启动实例(LaunchInstanceRequest,含 region_name、instance_type_name、ssh_key_names、可选 file_system_names、name)、列出运行实例、终止实例(TerminateInstanceRequest),以及管理 SSH 密钥(AddSshKeyRequest、list_ssh_keys、delete_ssh_key)。

curl 方式 列出实例类型:curl -u $LAMBDA_API_KEY: https://cloud.lambdalabs.com/api/v1/instance-types | jq。启动实例:POST 到 /api/v1/instance-operations/launch,JSON 含 region_name、instance_type_name、ssh_key_names。终止实例:POST 到 /api/v1/instance-operations/terminate,JSON 含 instance_ids。

持久存储 文件系统跨实例重启保留数据,挂载位置为 /lambda/nfs/<FILESYSTEM_NAME>。在控制台 Storage 中创建文件系统,选择与实例一致的区域,命名并创建。文件系统必须在实例启动时挂载:控制台启动时选择,或 API 启动请求中包含 file_system_names。建议将数据集、检查点、模型、输出放在 /lambda/nfs/storage/ 下,临时文件放在本地 SSD 的 /home/ubuntu/working/。

SSH 配置 本地生成密钥:ssh-keygen -t ed25519 -f ~/.ssh/lambda_key,将公钥添加到 Lambda 控制台或通过 API 添加。可在实例上追加更多密钥到 ~/.ssh/authorized_keys,或用 ssh-import-id gh:username 从 GitHub 导入。SSH 隧道示例:转发 Jupyter 用 ssh -L 8888:localhost:8888 ubuntu@<IP>;转发 TensorBoard 用 ssh -L 6006:localhost:6006 ubuntu@<IP>;多端口可同时转发。

JupyterLab 可从控制台 Instances 页面的 Cloud IDE 列点击 Launch 打开;也可在实例上执行 jupyter lab --ip=0.0.0.0 --port=8888,并在本地建立隧道后访问 http://localhost:8888。

训练工作流 单 GPU 训练:SSH 登录,克隆仓库,安装依赖,运行训练脚本并将检查点写入 /lambda/nfs/storage/checkpoints。 单节点多 GPU 训练:使用 torch.distributed 与 DistributedDataParallel,通过 torchrun --nproc_per_node=8 train_ddp.py 启动。 检查点保存:用 torch.save 将 epoch、model_state_dict、optimizer_state_dict、loss 保存到文件系统目录。

1-Click Clusters 提供 16-512 张 NVIDIA H100 或 B200 GPU 的 Slurm 集群,配 NVIDIA Quantum-2 400 Gb/s InfiniBand、GPUDirect RDMA 3200 Gb/s,预装分布式 ML 软件栈(Ubuntu 22.04 LTS + Lambda Stack、NCCL、Open MPI、PyTorch DDP/FSDP、TensorFlow、OFED 驱动)。存储方面每个计算节点 24 TB NVMe(临时),持久数据使用 Lambda 文件系统。多节点训练示例:srun --nodes=4 --ntasks-per-node=8 --gpus-per-node=8 torchrun --nnodes=4 --nproc_per_node=8 --rdzv_backend=c10d --rdzv_endpoint=$MASTER_ADDR:29500 train.py。

网络 同区域实例间带宽最高 200 Gbps,互联网出站最高 20 Gbps。防火墙默认仅开放 22 端口(SSH),可在控制台配置其他端口,默认允许 ICMP。

常见工作流 微调 LLM:启动带文件系统的 8x H100 实例,安装 transformers、accelerate、peft,将模型下载到文件系统,用 accelerate launch --num_processes 8 进行微调,检查点写入文件系统。 批量推理:启动 A10 实例,运行推理脚本,输入输出均放在文件系统。

成本优化 按任务选择 GPU:7B LLM 微调用 A100 40GB;70B LLM 微调用 8x H100;推理用 A10、A6000;开发用 V100、A10;追求最高性能用 B200。降低成本的方法:使用文件系统避免重复下载数据;频繁保存检查点以便中断后恢复;按需配置 GPU 不过度预留;实例空闲时手动终止(无自动停止)。控制台可查看实时 GPU 利用率,也可通过 API 监控。

常见问题 实例无法启动:检查区域可用性,尝试其他 GPU。SSH 连接被拒:等待实例初始化(3-15 分钟)。终止后数据丢失:使用持久文件系统。数据传输慢:使用同区域文件系统。GPU 未检测到:重启实例并检查驱动。

资源 文档 https://docs.lambda.ai;控制台 https://cloud.lambda.ai;定价 https://lambda.ai/instances;支持 https://support.lambdalabs.com;博客 https://lambda.ai/blog。