lambda-labs-gpu-cloud

用途

Lambda Labs GPU Cloud 用于在云端运行机器学习训练与推理。它适合需要独立 GPU 实例并具备完整 SSH 访问权限、运行数小时到数天的长训练任务、需要跨会话持久存储，或需要 16-512 张 GPU 的多节点集群的场景。资料也给出替代方案：Modal 适合无服务器自动扩缩容，SkyPilot 适合多云编排与成本优化，RunPod 适合更便宜的竞价实例与无服务器端点，Vast.ai 适合最低价格的 GPU 市场。

主要能力

• GPU 类型：B200、H100 SXM/PCIe、GH200、A100 80GB/40GB、A10、A6000、V100。
• 实例配置：支持 1x、2x、4x、8x GPU；8x 适合 DDP、FSDP 等分布式训练。
• Lambda Stack：实例预装 Ubuntu 22.04 LTS、NVIDIA 驱动、CUDA 12.x、cuDNN 8.x、NCCL、PyTorch、TensorFlow、JAX、JupyterLab。
• 持久文件系统：挂载在 /lambda/nfs/<FILESYSTEM_NAME>，须在启动实例时附加，且区域需与实例一致。
• 1-Click Clusters：16-512 张 H100 或 B200 的 Slurm 集群，配 NVIDIA Quantum-2 400 Gb/s InfiniBand、GPUDirect RDMA，以及 NCCL、Open MPI、OFED 等软件。
• 网络：同区域实例间带宽最高 200 Gbps，互联网出站最高 20 Gbps；默认仅开放 22 端口，ICMP 默认允许。
• 计费：按分钟计费，无出网费用。

使用方式

1. 在 https://lambda.ai 创建账户、添加支付方式、生成 API key，并在启动实例前添加 SSH 密钥。
2. 在 https://cloud.lambda.ai/instances 点击 Launch instance，选择 GPU 类型与区域、SSH 密钥，可选附加文件系统，等待 3-15 分钟。
3. 通过 SSH 连接：ssh ubuntu@<INSTANCE-IP> 或 ssh -i ~/.ssh/lambda_key ubuntu@<INSTANCE-IP>。
4. Python API：安装 pip install lambda-cloud-client，使用 lambda_cloud_client.Configuration(host="https://cloud.lambdalabs.com/api/v1", access_token=os.environ["LAMBDA_API_KEY"]) 配置，调用实例类型、启动、列表、终止和 SSH 密钥管理接口。
5. curl 方式：以 -u $LAMBDA_API_KEY: 调用 instance-types、instance-operations/launch、instance-operations/terminate 等端点。
6. JupyterLab：控制台 Cloud IDE 列点击 Launch，或手动启动 jupyter lab --ip=0.0.0.0 --port=8888 并通过 SSH 隧道访问。
7. 多 GPU 单节点训练：用 torchrun --nproc_per_node=8 train_ddp.py 启动 DDP。多节点集群可用 srun --nodes=4 --ntasks-per-node=8 --gpus-per-node=8 torchrun ...。

适用场景

• LLM 微调：7B 推荐 A100 40GB，70B 推荐 8x H100，checkpoint 写入持久文件系统。
• 批量推理：A10、A6000 更经济。
• 开发与调试：V100、A10。
• 最高性能：B200。
• 多机多卡训练：1-Click Clusters。

限制与注意事项

• 实例不会自动停止，空闲时需手动终止。
• 启动等待时间：单 GPU 3-5 分钟，多 GPU 10-15 分钟。
• 终止后本地数据会丢失，需使用持久文件系统。
• 文件系统必须在启动实例时附加，且区域需匹配。
• 默认仅开放 22 端口，其他端口需在控制台配置。
• 资料未提供各区域的完整可用性清单、存储计费价格与配额细节。