用途:作为 BASE_URL 的纯 HTTP 客户端,直接向已注册的模型端点发起请求并获取响应,不涉及任务提交或结果回收等生命周期操作。
主要能力:每个已注册模型端点拥有独立推理内核,即一个 Python REPL,其网络出口被限定为该端点,通过 compute_provider({'provider': '<slug>', 'code': '…'}) 进入,slug 来自 list_compute 且不带 infer: 前缀。BASE_URL 已作为 Python 变量和 os.environ["BASE_URL"] 预加载,应据此拼接请求 URL,不要硬编码主机或端口。可用预装的 httpx 或 requests 调用模型原生 API,请求格式见提供方自己的 runbook 技能(注册项的 skillName)。
鉴权与网络:托管端点需发送 Authorization: Bearer $INFER_API_KEY,本地端点无需鉴权头。请求经由沙箱 HTTP 代理(已设置 HTTP_PROXY/HTTPS_PROXY),不要禁用代理(如 trust_env=False),否则端点不可达。
适用场景:任务需要预测结果、且只需直接请求/响应时加载。
限制:无 submit/harvest 等作业生命周期。托管端点(list_compute 中带 managed: true 或 location 字段)的启动/停止、注册、free_port()/register() 由 managed-model-endpoints 技能负责;对其调用仍是向 BASE_URL 发 HTTP 请求,守护进程按需拉起模型,冷启动会向当前单元流式输出进度,可能耗时数分钟。其余细节资料未提供。