用途:在遇到持续性问题、准备支持工单或需要收集诊断证据时,收集 Databricks 环境的完整诊断信息,并打包为可安全共享的脱敏 tar.gz 文件。
前提条件:已安装并配置 Databricks CLI;拥有集群日志访问权限(管理员或集群所有者);有访问作业运行详情的权限。
主要能力:收集 CLI/SDK/Python/操作系统等环境信息与当前用户;获取集群完整配置、状态字段和近期集群事件(状态变更、错误、扩缩容);获取作业运行详情、任务级状态与运行输出(含错误与堆栈片段);读取 Spark 驱动日志最后 500 行;通过 Databricks Connect 查询 Delta 表的 DESCRIBE DETAIL、历史、Schema 与文件统计;执行网络连通性测试;对 ~/.databrickscfg 中的 token、client_secret 等敏感字段做 REDACTED 脱敏,并打包为 databricks-debug-YYYYMMDD-HHMMSS.tar.gz。
使用方式:运行脚本 bash databricks-debug-bundle.sh [cluster_id] [run_id] [table_name],参数可省略:仅环境、加集群诊断、再加作业运行、或包含 Delta 表。生成的包内含 summary.txt、cluster_config.json、cluster_events.json、run_details.json、run_output.json、driver_logs.txt、delta_diagnostics.txt、config-redacted.txt。提交支持时先检查 summary.txt,再在 help.databricks.com 开单并附带 .tar.gz 与工作区 ID。
限制与注意:令牌和密钥绝不包含,会脱敏;日志中可能含 PII,分享前需人工检查 driver_logs.txt;错误堆栈可能嵌入连接字符串需留意;驱动日志依赖集群日志投递配置,未启用时可能无法获取;未提供具体收费、平台支持范围等信息。