SuperAPI AI 工具集

databricks-table-valued-functions

数据与分析

查看项目

更新于 10-15 20:33

技能介绍

用途:为 Databricks Genie Space 规划、创建、部署和验证表值函数(TVF),用预置的参数化查询支撑自然语言数据访问,保证业务逻辑一致。

主要能力:从业务问题规划 TVF;使用 Genie 兼容参数类型(日期用 STRING);写 SQL 前先校验 schema;按 v3.0 要点格式编写注释以提升 Genie 匹配;处理 SCD2 维度(is_current 过滤);防止聚合 CTE 中的笛卡尔积;通过 Asset Bundle 作业部署并用部署后查询验证。

关键规则:日期参数用 STRING 而非 DATE;必填参数在前、带 DEFAULT 的参数在后;Top N 用 ROW_NUMBER + WHERE rank <= 参数,不用 LIMIT 参数;除法用 NULLIF 防除零;SCD2 连接加 is_current = true;避免重复聚合导致笛卡尔积。

使用方式:先读 YAML schema 并建 SCHEMA_MAPPING.md,再写 table_valued_functions.sql(用 ${catalog}、${gold_schema} 模板变量),由 Python notebook 替换变量并逐条执行;部署用 notebook_task(非 sql_task,因 DDL 需替换标识符):databricks bundle deploy -t dev,databricks bundle run gold_setup_job -t dev。

适用场景:为 Genie Space 创建 10-15 个常见业务问题 TVF、排查编译错误、确保 Genie 兼容、部署前验证。

限制:Genie 不支持 DATE 参数;LIMIT 不能用参数;资料未提供具体收费、价格与平台支持范围。