用途:把规划好的 SageMaker 模型(实时、实时缩容到零或异步端点)落地成实际部署,默认启用自动扩缩、CloudWatch 告警与资源标签,便于长期运行和后续清理。
主要能力:为每个端点成组创建 SageMaker 模型、终端节点配置、终端节点、自动扩缩目标与策略(按每实例调用数目标跟踪)、延迟/错误/平台开销告警,并统一打上 CreatedBy 等标签。数据捕获默认关闭,可用 --enable-data-capture 开启。推理组件部署(deploy_ic.py)把执行角色放到终端节点配置,模型放到推理组件,缩容目标为组件。
使用方式(命令保持原样):python scripts/deploy.py 指定 --model-name、--image-uri、--role-arn、--model-s3-uri、--instance-type、--region 及必要 --env;vLLM 镜像若标签含 cu130 及以上须传 --inference-ami-version;TEI 嵌入模型不需要该参数,用 HF_MODEL_ID。缩容到零使用 python scripts/deploy_ic.py,需同时具备 ManagedInstanceScaling 最小值 0、步进策略、NoCapacityInvocationFailures 告警等四要素。调用实时端点用 scripts/invoke_endpoint.py,支持 --payload 或 --payload-file;Windows 需避免 UTF-8 BOM,推荐用该脚本。销毁用 teardown.py,须先删告警、扩缩策略与推理组件,再删端点、配置和模型。
适用场景:需要长期运行的模型推理服务,稀疏或计划性流量且可接受分钟级冷启动时可用缩容到零;长耗时(>60 秒)、大负载或突发流量可考虑异步推理。
限制:InService 不等于可用,须做一次真实调用并扫描日志中的 worker 崩溃标记;缩容到零的唤醒期间请求会失败,不适用于有 SLA 的交互流量;组件计算资源只是调度预留,ml.g5.xlarge 上 1024 MB 可接受、4096 MB 会失败;缩容不通过本技能调节。其余收费、价格与平台细节暂未提供。