SuperAPI AI 工具集

modal-serverless-gpu

部署与运维

查看项目

更新于 10-15 20:21

技能介绍

用途:Modal 是一个无服务器 GPU 云平台,适合运行 GPU 密集型机器学习负载而无需管理基础设施,例如部署模型为自动扩缩容 API、运行批处理任务(训练、推理、数据处理)、快速原型开发以及定时(类 cron)任务。若需要长时间运行且保持状态的 pod、预留 GPU 实例、多云编排或复杂多服务架构,资料建议改用 RunPod、Lambda Labs、SkyPilot 或 Kubernetes。

主要能力:提供 T4、L4、A10G、L40S、A100、H100、H200、B200 等按需 GPU;以 Python 原生方式定义基础设施,无需 YAML;支持缩容到零并瞬时扩展到 100+ GPU;基于 Rust 的基础设施带来亚秒级冷启动;镜像层缓存加速迭代;可将函数部署为 REST API 并零停机更新。组件包括 App、Function、Cls、Image、Volume、Secret。执行模式有 modal run script.py(执行后退出)、modal serve script.py(带热重载开发)、modal deploy script.py(持久云部署)。

用法:安装使用 pip install modal 和 modal setup 完成认证。GPU 可通过 gpu="A100"、gpu="A100-80GB"、gpu="H100:4"、gpu=["H100","A100","L40S"] 或 gpu="any" 指定。镜像可用 modal.Image.debian_slim().pip_install(...)、from_registry 或 apt_install 构建。持久存储用 modal.Volume.from_name;Web 端点支持 @modal.fastapi_endpoint、@modal.asgi_app、@modal.wsgi_app、@modal.web_server 等装饰器;还支持动态批处理、Secrets 管理与 modal.Cron/modal.Period 调度。

优化与限制:可通过 container_idle_timeout、allow_concurrent_inputs、@modal.enter() 预热、并行 map 等方式缓解冷启动。常见问题包括冷启动延迟、GPU 显存不足、镜像构建失败和超时。官方文档见 https://modal.com/docs,示例见 https://github.com/modal-labs/modal-examples,定价见 https://modal.com/pricing。资料未提供具体价格数值与各 GPU 计费细节。