SuperAPI AI 工具集

modal

编程与开发

查看项目

更新于 10-15 20:29

技能介绍

用途:Modal 是面向 Python 的无服务器云平台,主要用于部署和运行 AI/ML 模型、GPU 加速计算、无服务器 Web API、批量并行任务与定时任务。

主要能力:按需 GPU(T4、L4、A10、L40S、A100、H100、H200、B200 等,单容器最多 8 卡,A10 最多 4 卡);函数自动从零扩缩到数千容器,支持亚秒级冷启动;用 Python 代码构建容器镜像;Volumes 提供持久化存储;Web 端点可服务模型与 API;支持 cron 或固定间隔的定时任务;支持密钥管理、并发与资源(CPU、内存、磁盘、超时)配置;支持带生命周期钩子的类,用于加载一次模型服务多次请求。

使用方式:安装 uv pip install modal;认证优先复用环境变量 MODAL_TOKEN_ID 与 MODAL_TOKEN_SECRET,其次检查本地 .env,最后才用 modal setup 交互认证,CI/CD 可用环境变量。常用命令:modal run script.py、modal serve script.py、modal deploy script.py,以及 modal volume、modal secret、modal app 等子命令。

适用场景:GPU 模型推理服务、批量处理流水线、定时数据管道、需要持久化模型权重或数据集的场景。

限制:资料提到免费层每月 30 美元额度;默认资源为 0.125 CPU 核、128 MiB 内存,按 max(request, usage) 计费;Volumes 针对一次写入多次读取优化;其余价格、平台与效果细节暂未提供。