用途:构建端到端 RunPod 无服务器端点,并针对极短冷启动时间进行优化,适用于创建或修改 RunPod 无服务器 worker。
主要能力:支持三类工作负载——vLLM(高性能 LLM 推理)、ComfyUI(图像/视频生成,支持工作流)、自定义推理(用户提供的 Python 推理代码)。提供两种加载策略:烘焙模型(模型嵌入 Docker 镜像,冷启动最快,目标 <5 秒)和动态加载(运行时从网络存储加载,可在 worker 间共享,目标 <60 秒)。
使用方式:推荐先运行交互式项目生成器 python3 scripts/init_project.py,按提示输入项目名、工作负载类型、加载策略、模型配置和输出目录,生成包含 Dockerfile、worker.py、startup.sh、requirements.txt、.dockerignore、.env.example 和 README.md 的完整项目。随后按需修改 worker.py 的 handler 逻辑、Dockerfile 依赖、startup.sh 初始化步骤和 requirements.txt。构建与部署命令:docker build -t my-worker:latest .、docker push registry/my-worker:latest,然后在 RunPod 控制台创建模板、设置环境变量并创建端点。也可手动复制 assets 下的 Dockerfile、worker 和 startup 模板实现。
适用场景:需要为 Llama 等模型创建低延迟推理端点、ComfyUI 视频生成端点,或部署自定义检测模型到 RunPod。
限制:资料未提供具体收费、价格、平台支持范围或性能保证;冷启动目标为技能内声明的优化目标,实际效果需自行测量。使用前需具备 Docker、RunPod 账户及相应模型访问权限(如 HF_TOKEN)。