SuperAPI AI 工具集

adhoc-exploration-notebooks

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:为数据产品创建临时探索笔记本,支持两种工作流——Databricks 工作区交互式使用(.py)和本地 Jupyter 配合 Databricks Connect(.ipynb)。适用场景包括构建分层数据探索工具、排查数据质量问题、创建交互分析笔记本、验证 schema 变更、在生产前测试查询模式、测试 Metric Views 与监控表、以及跨层数据流校验。

主要能力:标准辅助函数包括 list_tables(列出表及元数据)、explore_table(schema、样本数据、行数)、check_data_quality(空值计数、重复项)、compare_tables(跨层对比)、show_table_properties(查看元数据、标签、TBLPROPERTIES)。

使用方式:工作区版含 # Databricks notebook source 头与 # COMMAND ---------- 单元格分隔,支持 %pip、%sql 等魔法命令与 dbutils.widgets;本地版为纯 Python,无魔法命令,需先 pip install -r requirements.txt,并用 databricks configure --profile my_profile 配置 Databricks Connect。Spark 会话必须显式指定 .serverless() 或 .clusterId(),否则报错。跨环境参数用 widget 回退模式。可经 Databricks UI、Asset Bundle(notebook_path 须含 .py 扩展名)或 %run 执行。

限制:魔法命令仅在 Databricks 工作区可用,本地执行会报语法错误;依赖版本为 databricks-sdk[notebook]>=0.28.0 与 pyspark>=3.5.0。具体收费、价格与平台信息暂未提供。