SuperAPI AI 工具集

modal-serverless-gpu

编程与开发

查看项目

更新于 10-16 09:46

技能介绍

Modal 无服务器 GPU 云平台

用途:本技能提供在 Modal 无服务器 GPU 云平台上运行机器学习工作负载的指南。适用于无需管理基础设施即可运行 GPU 密集型任务、将模型部署为自动扩缩容 API、运行批量训练与推理任务、按秒计费且无空闲成本、快速原型开发以及运行定时作业。若需要长时间运行且保留状态的 Pod,可考虑 RunPod;预留 GPU 实例用 Lambda Labs;多云编排与成本优化用 SkyPilot;复杂多服务架构用 Kubernetes。

主要能力:按需提供 T4、L4、A10G、L40S、A100、H100、H200、B200 等 GPU;Python 原生定义基础设施,无需 YAML;自动扩缩容,可缩至零并快速扩展至 100+ GPU;基于 Rust 的亚秒级冷启动;容器镜像层缓存;Web 端点支持以 REST API 形式部署函数并零停机更新。核心组件包括 App、Function、Cls、Image、Volume、Secret。

使用方式:安装并认证:pip install modal,modal setup。执行方式有 modal run script.py(执行后退出)、modal serve script.py(开发热重载)、modal deploy script.py(持久云端部署)。GPU 可指定单卡、显存变体、多卡(如 gpu="H100:4")、回退列表或 gpu="any"。支持容器镜像构建、持久化 Volume、Secrets 管理、模态化 Web 端点(fastapi_endpoint、asgi_app、wsgi_app、web_server)、动态批处理、Cron/Period 调度、并行 map、并发与超时等配置。

限制:资料未提供具体价格数字与平台可用性保证;替代方案与调优建议需按实际任务评估。

参考:文档 https://modal.com/docs;示例 https://github.com/modal-labs/modal-examples;定价 https://modal.com/pricing;Discord https://discord.gg/modal。