用途:Modal 是运行 Python 的无服务器云平台,面向 AI/ML 工作负载,可用于部署与托管模型、运行 GPU 加速计算(训练、推理、微调)、创建无服务器 Web API、并行批处理、定时任务、持久化存储模型权重与数据集,以及在自定义容器环境中运行代码。
主要能力:按需 GPU(含 H100、H200、B200、B300 等);函数从零自动扩缩到数千容器;用 Python 代码构建容器镜像(也支持现有 Dockerfile);Volumes 持久存储;Web 端点;cron 或固定间隔定时任务;容器复用与热池减少冷启动(模型加载仍需时间)。App 与 Image 用 Python 定义。
使用方式:安装 uv pip install "modal==1.6.0"。认证优先复用已有 Modal profile,或检查 MODAL_TOKEN_ID 与 MODAL_TOKEN_SECRET 是否已设置;否则用 modal setup 交互认证,CI/CD 可用环境变量。用 @app.function() 定义远程函数,modal run 运行、modal deploy 部署。镜像用 .uv_pip_install()、.apt_install()、.run_commands() 等构建。GPU 用字符串指定,如 gpu="H100"、gpu="H100:4",每容器最多 8 张(A10 最多 4)。Volumes 适合写一次读多次场景,需显式 vol.commit()/vol.reload()。Secrets 用 modal.Secret 传递凭据。Web 端点支持 FastAPI、ASGI/WSGI、WebSockets。定时任务用 modal.Cron 或 modal.Period。扩缩容可设 max_containers、min_containers、buffer_containers、scaledown_window,并用 .map() 并行。资源可配 cpu、memory、ephemeral_disk、timeout。有状态负载用 @app.cls 与 @modal.enter()/@modal.exit()。不可信代码用 modal.Sandbox 隔离并限制网络。
限制与注意:GPU 使用需绑定支付方式,即使仍有额度;使用前应查看当前定价与工作区配额。SDK 1.6.0 的 Sandbox.create() 会阻塞至调度完成,可能抛 ResourceExhaustedError;snapshot_filesystem() 返回的镜像默认 30 天 TTL,非永久存储。子进程与 shell 参数须固定硬编码,不得由未净化输入构造。资料未提供具体价格、配额数值与平台支持范围等细节。