用途:在 Modal 无服务器 GPU 云上运行训练、微调、推理与批处理任务。相比 SSH 类平台,它免 SSH、免 Docker、免端口转发,代码按秒计费且自动缩容到零;本地运行 modal run,代码与结果保留在本地,仅 GPU 函数在远端执行,依赖通过 modal.Image 在代码中声明。
主要能力:按任务生成启动脚本,覆盖一次性 GPU 函数(训练/评估/基准)、FastAPI 常驻推理服务、vLLM 高性能推理、批量 map 并行、LoRA 微调、多 GPU 分布式训练;支持 GPU 回退列表、多卡 gpu="H100:4"、持久 Volume、Secrets、@modal.enter() 与 @modal.concurrent()。
使用方式:pip install modal && modal setup(浏览器登录并写入 ~/.modal.toml);modal run -q 'print("ok")' 验证。运行 modal run launcher.py,部署 modal deploy app.py;modal app list / modal app logs / modal app stop,modal volume ls / get,modal secret create NAME KEY=VALUE。每次运行前须做成本估算并让用户确认。
适用场景:无本地 GPU 时调试 CUDA、跑小规模测试与快速迭代;$5 免费额度(不绑卡)用于调试,绑卡后 $30 覆盖多数小实验。长时间训练(>4 小时)部分档位单价高于 vast.ai,可另选。
限制与注意:需在 https://modal.com/settings 浏览器内绑卡并设置消费上限,切勿通过 Claude Code 或任何 CLI 输入支付信息;具体型号价格与免费额度以 modal.com/pricing 为准。
文档:https://modal.com/docs/guide、https://modal.com/docs/guide/gpu、https://modal.com/pricing、https://modal.com/docs/examples。