SuperAPI AI 工具集

hf-cloud-serving-image-selection

设计与创作

查看项目

更新于 10-16 03:47

技能介绍

用途:为 SageMaker 模型部署挑选合适的服务容器镜像并获取当前镜像 URI。核心规则是只要存在兼容的 HuggingFace 官方镜像就优先使用(huggingface-vllm、huggingface-vllm-omni、huggingface-sglang、tei、huggingface-pytorch-inference),仅当验证不兼容、目标区域无对应标签且无法镜像、或镜像已知损坏时才回退到通用镜像(vllm、sglang、djl-inference)。

主要能力:按模型类型给出镜像家族与获取地址的对照,涵盖文本生成 LLM、多模态、嵌入、重排、扩散、分类等;区分编码器交叉重排器用 TEI、生成式重排器用 HuggingFace vLLM;说明如何从 AWS Deep Learning Containers 目录读取 URI 并替换 <region>,并提示 vLLM 镜像在 CUDA 13 及以上时需设置 InferenceAmiVersion=al2-ami-sagemaker-inference-gpu-3-1。

必要用法:镜像 URI 主要来自 AWS 官方目录页;部署时传给 deploy.py --image-uri 或 deploy_async.py --image-uri。TEI 需按实例选 GPU 或 CPU 变体。vLLM 环境变量含 SM_VLLM_MODEL、SM_VLLM_HOST(须为 0.0.0.0)等。目录页无法访问时可查 GitHub 数据文件或查询 ECR 标签。

限制:资料称不使用已归档的 TGI;部分 huggingface-pytorch-inference GPU 标签存在缺陷,建议改用 DJL Inference 或 BYOC;VPC 无 NAT 时公共 ECR 拉取会失败;首次从 Hub 加载模型可能需较长时间。文本在“预置权重到”处中断,后续内容暂未提供。