SuperAPI AI 工具集

hf-cloud-sagemaker-production-defaults

通用与其它

查看项目

更新于 10-16 03:37

技能介绍

用途:在已知服务镜像与 IAM 角色后,将 SageMaker 实时或异步端点部署为可长期运行的生产形态,默认自带扩缩容、告警与标签。

主要能力:以整体方式创建 SageMaker Model、Endpoint 配置、Endpoint,并为变体注册目标追踪自动扩缩容与 CloudWatch 告警(延迟、错误、平台开销);所有资源打统一标签(含 CreatedBy=agentic-deploy-skills)。数据采集默认关闭,用 --enable-data-capture 开启。异步部署用 deploy_async.py,额外要求 --output-s3-uri,支持 MinCapacity=0 缩容到零,并注册基于 ApproximateBacklogSizePerInstance 的目标追踪与 HasBacklogWithoutCapacity 告警驱动的步进扩容两条策略。

使用方式:vLLM 文本生成示例:python scripts/deploy.py --model-name qwen3-medical --image-uri "$IMAGE_URI" --inference-ami-version "$AMI" --role-arn "$ROLE_ARN" --instance-type ml.g5.xlarge --region "$REGION" --env SM_VLLM_MODEL=Qwen/Qwen3-0.6B --env SM_VLLM_HOST=0.0.0.0 --env SM_VLLM_TRUST_REMOTE_CODE=true --env SM_VLLM_MAX_MODEL_LEN=4096。TEI 嵌入示例省略 --inference-ami-version,使用 HF_MODEL_ID 环境变量。部署后须用 invoke_endpoint.py 做一次真实调用冒烟测试,并可用日志过滤排查 worker 崩溃。异步需先上传输入到 S3,再调用 invoke-endpoint-async,最后轮询输出 URI。卸载用 scripts/teardown.py。

适用场景:需要自动扩缩容与可观测性的 SageMaker 实时端点;长耗时、大负载或稀疏流量适合异步端点。

限制与注意事项:实时的 --target-invocations-per-instance 默认 20,偏保守,嵌入类应调高;cu130 及以上 vLLM 镜像必须传 --inference-ami-version;Windows 写 payload 需避免 UTF-8 BOM;数据采集需角色具备 S3 写权限。VPC、KMS、多变体等未默认提供。