SuperAPI AI 工具集

bentoml

编程与开发

查看项目

更新于 10-16 09:47

技能介绍

用途:该技能面向 BentoML 与 BentoCloud API,主要用于模型服务部署端点的调用,以及访问受保护的 BentoCloud 推理端点。当用户提到 BentoML 或需要调用 BentoCloud 部署时使用。

主要能力:支持调用受保护的部署端点、JSON 推理路由和文本响应路由,还可访问 BYOC 的监控联邦端点(Prometheus federate,仅 BYOC 客户可用)。

前置条件:需在 app.vm0.ai/connectors 连接 BentoML 连接器,连接器提供两个变量:BENTO_CLOUD_API_KEY(BentoCloud API 令牌)和 BENTO_CLOUD_API_ENDPOINT(组织端点,如 https://your-org.cloud.bentoml.com)。

使用方式:先写入请求体到 /tmp/bentoml_request.json,再通过 curl 调用。受保护部署端点示例:curl -s -X POST "https://<deployment-endpoint>/summarize" --header "Authorization: Bearer $BENTO_CLOUD_API_KEY" --header "Content-Type: application/json" -d @/tmp/bentoml_request.json。JSON 推理路由可加管道 | jq .。文本响应路由可直接传 -d '{"text":"Hello from vm0"}'。BYOC 监控联邦端点示例:curl -s --get "https://prometheus.monitoring.<cluster>.bentoml.ai/federate" --header "Authorization: Bearer $BENTO_CLOUD_API_KEY" --data-urlencode 'match[]={yatai_ai_bento_function!=""}'。

限制与注意:端点 URL 与路由必须来自 BentoCloud Playground 标签页,BentoML 部署暴露用户自定义路由;受保护部署需具备 Protected Endpoint Access 权限的令牌;BENTO_CLOUD_API_ENDPOINT 用于组织 API 上下文,推理调用使用部署 URL;不要打印或存储 API 令牌。请求失败时可运行 zero doctor check-connector --env-name BENTO_CLOUD_API_KEY 或 zero doctor check-connector --url "$BENTO_CLOUD_API_ENDPOINT" --method GET 排查。