用途:管理 Databricks Model Serving 端点,为 LLM、自定义 ML 模型和外部模型提供可扩展的 REST API 服务。使用前先用父级 databricks-core 技能处理 CLI 基础、认证和 profile 选择。
主要能力:端点按名称唯一标识,支持按 token 计费(系统 system.ai.* 目录模型,预置)、预置吞吐(专用 GPU)和自定义模型(MLflow 模型或容器)。结构包含 Served Entities(模型引用与扩缩容)、Traffic Config(按百分比路由,支持 A/B 与金丝雀)和 State(READY / NOT_READY)。提供 CLI 命令:list、get、delete、update-config、patch、put-ai-gateway、build-logs、logs、export-metrics、get-permissions(需端点 ID 而非名称)。
使用方式:先运行 databricks serving-endpoints -h 及子命令 -h 动态发现用法,勿猜测语法。创建示例:databricks serving-endpoints create <ENDPOINT_NAME> --json '{...}' --profile <PROFILE>;默认等待完成,可用 --no-wait 后轮询 get 检查 state.ready。更新后需同时轮询 state.ready 与 state.config_update,二者分别为 READY 与 NOT_UPDATING 才算完全就绪。查询聊天端点用 messages 数组,经典 ML 端点用 dataframe_records;流式加 --stream。可用 get-open-api 查看 OpenAPI 3.1 请求/响应模式。
适用场景:端点创建与版本切换(零停机通过别名重指向并 update_endpoint)、A/B 测试、限流与用量跟踪、接入 Databricks App(声明 serving_endpoint 资源,权限 CAN_QUERY)。
限制:本技能偏运维,不涵盖训练、MLflow 跟踪与 UC 注册;预置吞吐端点供应可能耗时较长,未就绪查询返回 404 或 503;缺少认证需 --profile;FM API 模型名称应运行时动态列举,勿硬编码。