SuperAPI AI 工具集

alterlab-modal

编程与开发

查看项目

更新于 10-15 19:56

技能介绍

用途:Modal 是运行云端 Python 代码的无服务器平台,配置极少即可把函数跑在容器中,按需使用 GPU、自动扩缩到数千容器,并按实际用量计费。适合 AI/ML 工作负载、高性能批处理、定时任务、GPU 推理和无服务器 API。

主要能力:用 modal.Image 声明依赖与环境(uv_pip_install、apt_install、from_registry、add_local_python_source);用 @app.function() 定义云端函数;用 gpu 参数申请 T4、L4、A10、A100、L40S、H100、H200、B200 等 GPU,支持 gpu="H100:8" 多卡;可配置 cpu、memory、ephemeral_disk;自动扩缩容(max_containers、min_containers、buffer_containers),用 .map() 并行处理;用 Volume 持久化数据并需 volume.commit();用 Secret 管理密钥;用 @modal.fastapi_endpoint() 部署 HTTP 端点;用 modal.Cron 或 modal.Period 定时执行。

使用方式:安装 uv pip install modal,运行 modal token new 完成认证(令牌存于 ~/.modal.toml),用 modal run script.py 运行、modal deploy script.py 部署。

限制:需 API 令牌认证;默认分配 0.125 CPU 核、128 MiB 内存,默认超时 5 分钟;计费按预留或实际用量较高者;Volume 写入后须 commit 才持久化;本地不可用的包需在函数体内导入。注册 https://modal.com 可获每月 30 美元额度。其他细节暂未提供。