SuperAPI AI 工具集

databricks-unity-catalog

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:本技能聚焦 Unity Catalog 的系统表、卷文件操作与治理,帮助在 Databricks 环境中查询元数据并管理卷内文件。

主要能力:卷文件操作,包括列出、上传、下载文件与创建目录;系统表查询,覆盖血缘(表级与列级依赖)、审计日志(访问者与权限变更)、账单与用量(DBU 消耗与成本分析)、计算资源(集群使用与仓库指标)、作业执行(运行历史、成功率与失败)、查询性能(慢查询与仓库利用率);数据剖析与漂移检测涉及指标表。

使用方式:卷操作通过工具调用完成,例如 list_volume_files(volume_path="/Volumes/catalog/schema/volume/folder/")、upload_to_volume(local_path="/tmp/data.csv", volume_path="/Volumes/catalog/schema/volume/data.csv")、download_from_volume(volume_path="/Volumes/catalog/schema/volume/data.csv", local_path="/tmp/downloaded.csv")、create_volume_directory(volume_path="/Volumes/catalog/schema/volume/new_folder")。系统表查询使用 SQL,也可经 mcp__databricks__execute_sql。访问系统表需先授权,如 GRANT USE CATALOG ON CATALOG system TO data_engineers;GRANT USE SCHEMA ON SCHEMA system.access TO data_engineers;GRANT SELECT ON SCHEMA system.access TO data_engineers。

适用场景:排查表依赖与下游影响、审计权限变更、按工作区统计 DBU 用量、分析作业与查询表现、检查数据质量。

限制:系统表数据量大,应始终加日期过滤,并确认工作区保留期限;系统表含敏感元数据,应最小化授权。参考文件包括 5-system-tables.md、6-volumes.md、7-data-profiling.md。价格、具体保留策略与完整权限模型等细节暂未提供。