SuperAPI AI 工具集

managed-model-endpoints

编程与开发

查看项目

更新于 10-15 23:32

技能介绍

用途:把模型服务注册为守护进程拥有的“受管端点”,注册一次后,针对它的每个 compute_provider 单元即可直接工作。守护进程会先停掉常驻模型(一次一个,走其自身批准的 stop),运行已批准的启动脚本,等待就绪路由,再运行单元并流式输出生命周期进度。用户无需自己运行容器运行时、无需在单元中轮询就绪、也看不到凭据值。两个动作:register()(向用户确认一次)与普通推理单元。

主要能力:支持本地容器注册(镜像、仓库登录、内部端口、缓存挂载目标、就绪路由来自模型自身的 runbook 技能)与远程上游 API(https,无生命周期)。调用唯一形式是 compute_provider 工具加已注册名称(list_compute 可列出);守护进程按需拉起模型,并把 BASE_URL 预载入单元(Python 变量与 os.environ["BASE_URL"],远程端点另有 INFER_API_KEY)。端点不是内核环境,普通 python 单元用 environment= 指定端点会失败。

使用方式:每台机器需在 Customize → Compute → Model endpoints 连接该家族并选择 Local 或 URL/remote 模式;未连接时 free_port()/register() 会报错。注册须传 credential="NVIDIA_API_KEY"(其他名称被拒)。本地注册用 host.model_endpoints.free_port() 取端口,url 必须字面写 127.0.0.1,名称用 <model>-service。远程注册传 https url 并省略 start/stop/live,其主机须与配置的上游主机完全一致。register() 总会向用户弹卡确认,字节完全相同的重复注册静默通过。

限制:启动脚本须幂等并含端口不匹配与运行时绑定守卫;脚本仅继承 HOST_PORT、SERVICE_DIR 和注册凭据,须保持 ASCII;缓存须归容器 uid 所有,不可 777;-d 且不加 --rm。失败会置端点 FAILED 且粘滞,需用户按 Stop 或重新注册;首次冷启动下载镜像与权重可能耗时数分钟。断开连接会完整拆除所有本地服务与注册(缓存保留)。