本技能是面向 Databricks 开发的综合指南,适用于数据工程、机器学习基础设施与权限设计场景。
用途:指导使用 Databricks CLI 执行查询与管理查询对象,并覆盖 Lakehouse 架构、Unity Catalog、数据工程、ML 基础设施、安全、SQL Warehouse、JSON 处理、Dashboard API 及 dbt 集成等主题。
主要能力与用法:CLI 部分要求为 warehouse_id 选择 Serverless SQL Warehouse,且 CLI 不会自动从配置文件读取 warehouse_id,需在 JSON 中显式提供。当 profile 的 auth_type=databricks-cli 时先执行 databricks auth login --host https://xxx.cloud.databricks.com --profile PROFILE_NAME,并用 databricks auth profiles 检查状态。通过 Statements API 执行查询并轮询结果,通过 Queries API 管理查询对象,注意字段应使用 warehouse_id、query_text、display_name,而非 data_source_id、query、name。查询前先用 DESCRIBE TABLE 校验列名与类型。VARIANT 类型(Runtime 15.3+)支持冒号表示法访问 JSON,可做类型转换,通配符 [*] 仅冒号表示法支持。dbt 集成可用 Jinja 宏配合 variant_explode 自动展开 JSON 键。
限制与注意事项:Schema 方面需注意列名大小写、类型不匹配、NULL 与时间戳精度问题;对象字段顺序不保证,数组顺序保证;get_json_object 路径须为字符串字面量;AI/BI Dashboard(Lakeview)不支持自定义 HTML/JavaScript 与客户端 JSON 解析,建议在 SQL 侧解析。Legacy Dashboard API 已弃用(2026-01-12 停用),迁移截止 2026-03-02,新 API 为 /api/2.0/lakeview/dashboards。本资料未提供具体收费、价格与部署步骤说明。