SuperAPI AI 工具集

model-recipes

部署与运维

查看项目

更新于 10-28 23:59

技能介绍

Model Recipes 是 vLLM 项目的模型部署配方集合,面向需要在特定硬件上部署大语言模型或 Hugging Face 模型的用户。配方源文件维护在仓库的 recipes/models/ 目录,发布目录由 vllm-project/recipes 渲染,站点为 recipes.vllm.ai。图像、视频、音频等多模态(Omni)配方暂时保留在 vllm-project/recipes,Ascend NPU 相关内容内联在配方中。

主要能力:按模型 ID、模型系列或提供方进行大小写不敏感的关键词检索;读取已发布 JSON(变体、硬件、策略已解析)汇总推荐硬件、策略与变体;根据硬件 ID 获取对应命令对象,区分单节点 command 与多节点 head_command/worker_commands;查看 guide 中的前置条件、启动说明、故障排查与已知限制;读取 features、omni_tasks 等字段判断功能需求。配方查找只返回命令与部署指导,不会启动 vllm serve。

使用方式:已知精确 Hugging Face ID 时可直接访问 https://recipes.vllm.ai/<org>/<repo> 及其 .json;不确定时先用 models.json 配合 curl 与 jq 检索。查看结果时链接网站页面,仅在创建或更新配方时读取源 YAML。可用 skill 目录中的 scripts/read_recipe.sh 将 JSON 存为文件并摘要,或按 guide_sections 读取指定章节。选择硬件时须核对 hardware_profile 的 GPU 型号与规格、命令的并行设置与节点数,以及变体 vram_minimum_gb 估算值与实际显存;不匹配时应报告差异并原样返回最接近的命令,调整项单独列出并标注未验证。

适用场景:为指定模型和 GPU 拓扑查找可用部署配置、比较不同变体或策略、获取多节点启动命令,以及为官方或广泛使用的检查点创建、更新配方。

限制:配方是部署起点,未必针对具体工作负载调优,应结合实际基准测试进一步调整;生成配置不自动视为已验证,recipe_verified_hardware 仅说明整个配方在该硬件上经过端到端验证,不覆盖每个变体、策略或 guide 命令;配方仅覆盖官方或广泛使用的检查点,不为任意社区上传、未经测试的硬件声明或仅适用于单一环境的非标准参数添加配方;创建或更新前需确认用户已实际运行配置并能提供结果。发布 JSON 常超过 20 KB,应只读取所需部分。