SuperAPI AI 工具集

optimizing-databricks-sql

数据与分析

查看项目

更新于 10-15 16:48

技能介绍

用途:面向 DBSQL 查询(独立或在 notebook 单元格内嵌)做优化分析,专门处理通用 SQL 优化工具从查询文本本身无法发现的 Databricks/Delta 平台问题,如 Z-ordering、liquid clustering、表统计、Photon、Unity Catalog、Predictive Optimization。它不适用于与 Databricks 无关的通用 SQL 优化(应直接用 query-optimize),也不负责注入、PII、风格等非性能类 lint(用 sql-review),PySpark DataFrame 级代码暂不在范围内。

工作流程:先确认文件路径解析正确,避免误用同名文件;再用 warehouse_list 确认 Databricks 连接;然后执行基线分析(sql_analyze、altimate_core_check,可借助 query-optimize);接着叠加平台专属检查;有连接时用 schema_inspect 与 DESCRIBE DETAIL 核对真实表元数据(如 sizeInBytes/numFiles);用 EXPLAIN FORMATTED 区分 predicate 级与 strategy 级发现;再生成并验证改写,最后分级与通过验证门。

验证与限制:改写须经正确性与性能双重校验(性能需超过重复运行噪声),否则不得称为 optimized。ANALYZE TABLE 会真实扫描并写元数据,必须先征得用户同意再执行;写回文件或 notebook 也需用户明确确认。工具无法可靠解析 DDL 或 MERGE 时,会退回到实际执行或 EXPLAIN 取证,而非当作无问题。