用途:Runpod Flash 是代码优先(code-first)的无服务器方案。你在本地编写 Python 函数,函数实际在远端 Runpod 的 GPU/CPU worker 上执行,端点(endpoint)负责资源供给。
快速开始:uv tool install runpod-flash → flash login(或 export RUNPOD_API_KEY=...)→ flash init my-project → flash dev。具体命令以 flash --help 与 flash <command> --help 为准,可用 pip show runpod-flash 确认版本。
开发与部署:flash dev 用于迭代,本地:8888 起服务(端口被占用会自动顺延),被装饰函数在远端 worker 执行,保存即热重载并把 worker 日志实时打印到终端;flash deploy 用于上线,会构建产物并部署稳定端点,较慢,建议代码在 flash dev 下跑通后再执行。注意 flash dev 只把函数体发送到 worker,模块级名称会立即报 NameError;flash deploy 导入整个模块可能掩盖该问题。
三种模式:仅在 @Endpoint 中给 name= 时为装饰器模式(运行你自己的代码);设置 image= 为客户端模式(部署镜像后以 HTTP 调用);设置 id= 为客户端模式(连接已有端点,不重新供给)。队列型(裸 @Endpoint 装饰器)一个函数对应一个端点及其 worker;负载均衡型(@api.post(...))多个路由共享一组 worker。
注意点:所有装饰函数与客户端方法都需要 await;依赖需写入 dependencies=[];gpu 与 cpu 互斥;idle_timeout 单位为秒(默认 60);请求负载上限 10MB;GPU 自动切换需 workers>=5;runsync 默认 60 秒超时,冷启动可能超过,可用 ep.runsync(data, timeout=120) 或 ep.run() + job.wait()。原始 HTTP 调用时请求体形状需与端点类型匹配,且不要发送空 input。原生 CUDA 库(如 nvidia-cublas-cu12、nvidia-cudnn-cu12)也要列入依赖。若出现静默 401,多为环境变量 RUNPOD_API_KEY 覆盖了登录令牌所致。定期清理已部署应用可用 flash app delete <app>。
适用场景:需要在远端 GPU 上运行 Python 推理/训练、以少量样板代码部署无服务器端点,或对接已有自定义 Docker 镜像与 Runpod Serverless worker。限制:image= 模式无法运行任意 Python 逻辑,镜像须实现 Runpod Serverless handler;其余平台、计费与效果细节暂未提供。