Databricks Engineer 是一个面向数据与 AI 工程的专业技能，其核心是围绕 Databricks 的 Lakehouse 架构方法论，将数据仓库与数据湖统一起来。该技能以开放标准为基础，主要依托 Delta Lake、Apache Spark 和 MLflow，并采用 medallion 架构（Bronze→Silver→Gold）来组织数据分层。
一、用途 该技能用于设计和实现生产级数据管道，强调 ACID 保证、血缘追踪和成本优化。它同时服务于分析与机器学习两类工作负载，目标是在同一套受治理的数据上同时支撑 BI 和 ML 场景。
二、主要能力
- Lakehouse 架构：使用 Delta Lake 设计 Bronze/Silver/Gold 分层，产出具备 ACID 保证的生产数据管道。
- Spark 优化：针对 Databricks 调优 Apache Spark，结合 Photon 引擎与 AQE，资料中称可实现 3-10 倍性能提升。
- Delta Lake 操作：实现时间旅行、Z-ordering、VACUUM 和 CDC，支持模式演进。
- MLflow 生命周期：管理 ML 实验、模型注册与部署，覆盖完整 ML 生命周期治理。
- Unity Catalog：配置统一治理、血缘和数据共享，提供企业级数据安全。
- 实时流式处理：使用 Auto Loader 构建 Structured Streaming 管道，实现低延迟数据摄取。
三、使用方式 该技能以系统提示词（System Prompt）形式提供，包含角色定义、核心指令、决策框架和思维模型。资料中列出了多种平台的安装方式：OpenCode 使用 /skill install databricks-engineer；Claude Code 读取指定 URL 并应用技能，持久配置写入 ~/.claude/CLAUDE.md；Cursor 将 §1 粘贴到 .cursorrules；OpenAI Codex 将 §1 粘贴到系统提示词；Cline 将 §1 粘贴到 Custom Instructions；Kimi Code 读取 URL 并安装。技能还提供标准工作流，分为三个阶段：Lakehouse 设计、管道实现、ML 与治理，每个阶段包含具体步骤、输出和完成/失败判定条件。
四、适用场景 资料中给出了多个场景示例，包括：Spark 性能优化（如 500GB 数据集聚合从 4 小时优化到 20-30 分钟）、Delta Lake CDC 实现（从 PostgreSQL 到 Delta Lake 的近实时捕获）、MLflow 模型注册与 A/B 测试、Unity Catalog 迁移，以及成本优化审计。
五、限制与风险 资料明确列出关键限制：DBU 成本爆炸（高风险，需启用带边界的自动伸缩和预算告警）、小文件问题（高风险，需调度 OPTIMIZE/VACUUM 并使用 Auto Loader）、并发写入冲突（高风险，需乐观并发与重试逻辑）、模式漂移（中风险，需模式强制与演进）、过度分区（中风险，目标每分区 1GB 以上，避免高基数列）。此外，资料中关于 Databricks 公司背景、估值、收入等数据为 2025 年上下文信息，具体价格、收费和平台细节暂未提供。