用途:作为 BASE_URL 的纯 HTTP 客户端,直接向已注册的模型端点发起请求并获取响应,不涉及任务提交或结果回收等作业生命周期。
主要能力:每个已注册模型端点拥有独立的推理内核(Python REPL),其网络出口被限定为该端点,通过 compute_provider({'provider': '<slug>', 'code': '…'}) 访问,slug 来自 list_compute 且不带 infer: 前缀。BASE_URL 已作为 Python 变量和 os.environ["BASE_URL"] 预加载,应据此拼接请求 URL,不要硬编码主机或端口。可使用预装的 httpx 或 requests 调用模型原生 API,请求格式见提供方自己的 runbook 技能(注册项的 skillName)。
使用方式:托管端点需发送 Authorization: Bearer $INFER_API_KEY(凭据交付时始终使用该规范环境变量名,凭据自身名称通常也会被别名);本地端点无需认证头。请求经由沙箱 HTTP 代理(已设置 HTTP_PROXY/HTTPS_PROXY),不要禁用代理(如 trust_env=False),否则端点不可达。
适用场景:任务需要模型预测、且已存在注册端点时加载使用。
限制:仅支持直接请求/响应,无 submit/harvest 作业生命周期。受管端点(list_compute 中带 managed: true 或 location 字段的条目)的启动/停止、注册、free_port()/register() 等生命周期由 managed-model-endpoints 技能负责;针对它们的调用仍是向 BASE_URL 发 HTTP 请求,守护进程按需拉起模型,冷启动会向当前单元流式输出进度,可能耗时数分钟。其余细节暂未提供。