用途:Modal 是面向机器学习的无服务器 GPU 云平台,适合在无需管理基础设施的情况下运行 GPU 密集型任务、将模型部署为自动扩缩容 API、执行训练/推理/数据处理批任务、快速原型开发以及运行定时任务。
主要能力:提供 T4、L4、A10G、L40S、A100、H100、H200、B200 等按需 GPU;以 Python 代码定义基础设施,无需 YAML;支持缩容到零并瞬时扩展到上百块 GPU;基于 Rust 的基础设施实现亚秒级冷启动;镜像层缓存加速迭代;可将函数部署为 REST API 并零停机更新。核心组件包括 App、Function、Cls、Image、Volume、Secret。
使用方式:安装并认证:pip install modal,modal setup。运行方式有 modal run script.py(执行后退出)、modal serve script.py(开发热重载)、modal deploy script.py(持久部署)。GPU 可指定单卡、显存变体、多卡(如 H100:4)、回退列表或 any。支持容器镜像、持久卷、Web 端点(fastapi_endpoint、asgi_app、wsgi_app、web_server)、动态批处理、密钥管理、Cron/Period 调度、并行 map 与性能优化参数。
限制与注意:Modal 1.0 中 container_idle_timeout 改为 scaledown_window,concurrency_limit 改为 max_containers,keep_warm 改为 min_containers,allow_concurrent_inputs 改为 @modal.concurrent 装饰器。若需长时间运行且保持状态的 pod、预留 GPU 实例、多云编排或复杂多服务架构,官方建议改用 RunPod、Lambda Labs、SkyPilot 或 Kubernetes。常见问题包括冷启动延迟、GPU 显存不足、镜像构建失败和超时,可通过调整参数或更换 GPU 缓解。具体收费与价格暂未提供。