用途:作为 SageMaker 部署的入口技能,负责发现需求与选择推理路径,再把任务交给其他专项技能。后续阶段包括上下文预检(hf-cloud-aws-context-discovery、hf-cloud-python-env-setup)、IAM 预检(hf-cloud-sagemaker-iam-preflight)、镜像选择(hf-cloud-serving-image-selection)与部署(hf-cloud-sagemaker-production-defaults)。\n\n主要能力:询问必需信息,包括模型来源(HuggingFace ID、S3 路径或模型名)、模型类型(文本生成 LLM、嵌入/重排或其他)、流量形态、延迟容忍度;成本敏感度仅在用户提及或流量不明确时询问,区域由上下文发现技能提供。根据模型名通常可推断模型类型,无需重复询问。\n\n路径选择:实时端点适合稳定流量与低延迟常驻;无服务器适合突发、稀疏且可接受冷启动的简单模型;异步适合长推理、大负载、可排队;批量适合离线打分;Bedrock 自定义模型导入适合兼容 Bedrock API 且支持的基础模型族。LLM 默认实时端点,嵌入模型也默认实时但通常选 CPU 实例。实时与异步有脚本化路径,其余路径仅解释后交接。\n\n实例选择前须检查配额,命令为:aws service-quotas list-service-quotas --service-code sagemaker --region <region> --query "Quotas[?contains(QuotaName, 'for endpoint usage') && Value > \0\\].[QuotaName, Value]" --output table。24GB 档位中 ml.g5.(A10G)与 ml.g6.(L4)需 gpu-3-1 AMI;g6 更新更省,g5 显存带宽约为两倍;模型超出 24GB 时可用 ml.g6e.*(L40S,48GB)。配额为按实例类型、按区域计算,GPU 类型默认常为 0。\n\n使用方式:尽量一轮澄清问题,给出明确推荐并等待用户确认后再创建资源;计划保存在对话中,除非明确要求,不生成 plan.yaml 等产物。\n\n限制:资料未提供具体价格、图像 URI、SDK API 细节与配额数值,需另行检查;不脚本化的路径无法通过本技能直接部署。
hf-cloud-sagemaker-deployment-planner
部署与运维
更新于 10-16 03:37