SuperAPI AI 工具集

hf-cloud-sagemaker-deployment-planner

部署与运维

查看项目

更新于 10-16 03:47

技能介绍

用途:帮助用户把模型部署到 Amazon SageMaker,以尽量少的问题给出合理默认方案,并转交给专门子技能处理后续步骤。

主要能力:分两个阶段工作。发现阶段确认要部署的模型(HuggingFace ID、S3 工件路径或模型名)、模型类型(文本生成 LLM、嵌入/重排、其他)、流量规模、延迟容忍度与成本敏感度;路径选择阶段在实时端点、实时缩容到零、无服务器推理、异步推理、批处理转换与 Bedrock 自定义模型导入之间推荐。实时、实时缩容到零、异步是三个已有脚本的路径(deploy.py、deploy_ic.py、deploy_async.py);无服务器、批处理与 Bedrock CMI 暂无脚本,需简要说明后交回。

使用方式:最小问题集通常只需“什么模型”和“多久调用一次”。不要一次问全。推荐实例前先检查配额:aws service-quotas list-service-quotas --service-code sagemaker --region <region> --query "Quotas[?contains(QuotaName, 'for endpoint usage') && Value > `0`].[QuotaName, Value]" --output table。若目标类型不在结果中,改推有配额的实例,或提示先申请提升。给出推荐后等待用户确认。计划保存在对话中,除非明确要求,不生成 plan.yaml。

适用场景:LLM 默认用实时端点;嵌入模型默认也实时,但小模型(<1B)与中等流量优先 CPU 实例;文生图、视频生成等长推理(>30 秒)且流量突发时用异步推理。实时缩容到零需推理组件,且空闲后首个请求可能失败(400),客户端需能重试。

限制:模型、流量、区域等信息缺失时需询问;配额查询被拒时说明一次并继续,不将其作为阻塞门槛;不猜测当前镜像 URI、SDK 接口或配额。跨客户端可用,Codex 安装至 $CODEX_HOME/skills/hf-cloud-sagemaker-deployment-planner 并重启。无必需 MCP 服务器。