SuperAPI AI 工具集

fal-serverless-guide

部署与运维

查看项目

更新于 10-15 23:41

技能介绍

用途:面向在 fal.ai 无服务器基础设施上部署自定义 ML 模型的开发者,覆盖创建 fal.App 类、选择 GPU 机型、配置扩缩容与持久化存储、管理密钥、查看日志等环节。

主要能力:机器类型包括 CPU 及 GPU-T4(16GB)、GPU-A10G(24GB)、GPU-A100(40/80GB)、GPU-H100(80GB)、GPU-H200(141GB)、GPU-B200(192GB),支持 num_gpus 多卡。App 属性含 machine_type、requirements、keep_alive、min_concurrency、max_concurrency。支持 volumes 持久化模型权重、secrets 管理环境变量、多端点、流式响应与错误处理,自动从零扩展到多实例,按使用量计费。

使用方式:先 pip install fal,再 fal auth login 或设置 FAL_KEY。以 fal.App 子类定义 setup() 加载模型、用 @fal.endpoint 注册接口。部署命令为 fal deploy app.py::MyApp,本地运行为 fal run app.py::MyApp,日志用 fal logs <app-id>,密钥用 fal secrets set KEY=value。部署后可通过 Python fal_client、JS @fal-ai/client 或 REST(https://queue.fal.run/...)调用。

适用场景:自定义模型推理、图像生成、文本生成与流式输出、多模态多端点服务等。

限制:具体价格与 GPU 费率以 https://fal.ai/pricing 为准;并发建议依显存而定;部分高级模式示例未涵盖全部生产细节。