SuperAPI AI 工具集

managed-model-endpoints

智能体与模型

查看项目

更新于 10-15 22:15

技能介绍

用途:在 academicforge 中注册托管模型端点。端点由守护进程持有:注册一次后,针对它的 compute_provider 单元即可自动工作——守护进程先停掉当前驻留模型,运行已批准的启动脚本,等待就绪路由,再执行单元并流式输出生命周期进度。用户无需自己运行容器运行时、无需在单元中轮询就绪、也看不到凭据值。

主要能力:两种端点。本地容器端点需提供 url(必须为字面 127.0.0.1)、start/stop 脚本与 live 就绪路由;远程端点传 https 上游地址并省略 start/stop/live,无生命周期管理。注册通过 host.model_endpoints.register(),本地端口用 free_port() 获取(20000-29999)。凭据名固定为 credential="NVIDIA_API_KEY",其他名称会被拒绝。

使用方式:先在 Customize → Compute → Model endpoints 连接该家族并选择 Local 或 URL/remote 模式;未连接时 free_port()/register() 会报错。调用时唯一形式是 compute_provider(provider="<端点名>", code=...),BASE_URL 会预加载为 Python 变量和 os.environ["BASE_URL"],远程端点另有 INFER_API_KEY。端点名建议用 <model>-service。

限制:端点不是内核环境,普通 python 单元用 environment= 指定端点会失败。脚本须为 ASCII、幂等,并处理端口映射与缓存属主问题;缓存放在 $SERVICE_DIR,不要用 777。启动/停止失败会使端点进入 FAILED 且粘滞,需用户按 Stop 或重新注册(字节完全相同可静默清除)。首次冷启动需下载镜像与权重,可能耗时数分钟。断开连接会停止所有本地服务并删除全部注册,缓存保留在磁盘。容器镜像、内部端口、缓存挂载目标与就绪路由来自模型自身的 runbook 技能,本技能只是翻译契约。