用途:Modal 是运行 Python 代码的无服务器云平台,面向 AI/ML 工作负载,可用于部署与提供模型、GPU 训练与推理、无服务器 Web API、并行批处理、定时任务及持久化存储。
主要能力:按需 GPU(T4、L4、A10、L40S、A100、H100、H200、B200 等);函数自动从零扩展到数千容器;用 Python 代码构建自定义容器镜像;Volumes 持久存储模型权重与数据集;Web 端点;cron 或固定间隔定时任务;亚秒级冷启动。
使用方式:安装 uv pip install modal,支持 Python 3.10–3.14,目标为 modal>=1.0 API。认证优先复用环境中的 MODAL_TOKEN_ID 与 MODAL_TOKEN_SECRET,否则运行 modal setup 或设置这两个环境变量。用 @app.function() 定义远程函数,modal run 运行、modal deploy 部署;用 modal.Image 构建镜像,gpu 参数指定 GPU,volumes 挂载存储,secrets 传入凭据,@modal.fastapi_endpoint() 提供 Web 端点,schedule 设置定时任务。
适用场景:GPU 模型推理服务、批处理流水线、定时 ETL、无服务器 API、需要隔离运行不可信代码时使用 modal.Sandbox。
限制:默认 0.125 CPU 核、128 MiB 内存,按 max(request, usage) 计费;每容器最多 8 个 GPU(A10 最多 4 个);免费层每月 30 美元额度。仅需上述两个令牌变量,不应读取或转发其他环境变量;不可信代码应放入 Sandbox 并限制网络。其余细节暂未提供。