用途:把 GPU 工作负载部署到 RunPod 的无服务器(Serverless)端点和 Pod,适合模型推理、vLLM 端点搭建与成本控制。
主要能力:Serverless Workers,支持按秒计费与缩容到零的 handler;vLLM 端点,提供 OpenAI 兼容的 LLM 服务;Pod 管理,用于开发/训练的独占 GPU 实例;成本优化,涵盖 GPU 选择、spot 实例与预算控制。
使用方式:用 pip install runpod 安装;处理器通过 runpod.serverless.start({"handler": handler}) 启动;流式用生成器并在 start 时设置 return_aggregate_stream;vLLM 通过 OpenAI 客户端指向 base_url="https://api.runpod.ai/v2/ENDPOINT_ID/openai/v1"。CLI 可执行 runpodctl project deploy、runpod endpoint health/logs/scale;本地测试可运行 python handler.py --rp_serve_api。
限制:M1/M2 Mac 无法本地构建 Docker(ARM 与 RunPod x86 GPU 不兼容),需用 GitHub Actions;模型与环境变量需自行配置;价格、GPU 规格等资料以 2025 年 1 月为参考,可能变化。