概述
Databricks Private Networking 是一项用于指导在 Databricks 上搭建私有网络的技能。当用户询问 Private Link、Hub-Spoke 架构、NCC(Network Connectivity Configuration,网络连接配置)等内容时会用到它。
客户沟通方式
技能要求对私有网络需求保持「适度反驳」:私有网络会显著增加复杂度和长期维护负担。
- 当用户只说「我需要 Private Link」而没有说明范围时,必须追问:是仅后端(集群流量私有,UI/API 仍公开),还是完全私有链接(一切私有,需要 VPN/ExpressRoute/DirectConnect 才能访问 UI 和 API)?
- 若用户选择完全私有链接但没有 VPN/私有连接,需警告一次:完全私有链接下,工作区 UI 和 API 只能从私有网络内部访问,需要 VPN、ExpressRoute 或 DirectConnect 才能连到工作区,并确认是否确定如此。
- 若规格明确(仅后端或完全私有链接且已确认 VPN),则不再对设计提出异议,但实施属于远程变更,需经过下述审批关卡。
远程变更的审批关卡
在创建、修改或删除任何远程网络资源(Private Link / Private Endpoint / PSC 端点、NCC、VPC/VNet、子网、DNS、路由——任何 terraform apply 或 databricks ... create|delete|update 操作)之前,需提交一份计划并获得明确批准:
- 目标:账户/工作区、使用的 --profile(或 host)以及云平台。
- 变更集:整个任务中要创建/修改/删除的每一个网络资源,批量呈现。针对整个变更集获得一次批准(类似审阅 terraform plan),而不是每个资源单独弹一次确认。
等待明确批准后,仅执行获批范围内的操作;若范围发生变化,需重新呈现并重新批准。重试与恢复也使用同一关卡。清理仅限于本次工作流在当前会话中创建的资源,并向用户报告——未经询问不得删除既有的网络配置,因为那可能切断工作区访问。
该机制管辖的是「改动什么」,而非设计选择。它是交互式使用下的默认方式;自动批准/无头模式由客户自行选择并承担责任(见 SECURITY.md)。
何时需要该技能
并非所有部署都需要 Private Link,应将方案与实际需求匹配。
- 默认方案(VNet/VPC 注入 + SCC)对大多数工作负载已足够:集群节点没有公网 IP,到控制平面的流量走安全隧道。对多数合规框架而言这已达到生产级。
- 需要 Private Link 的情况:合规明确要求不得有公开端点;组织运行零信任网络;或安全策略禁止任何流量经过公共互联网。
- 需要 NCC 的情况:无服务器计算必须连接私有或本地资源。运行在 VNet/VPC 中的经典集群可直接访问 VNet 对等或 VPC 对等资源,无需 NCC。
NCC 覆盖的示例(AZURE.md 中「以 ILB 前置的 VM」模式只是最简单的一种,可替换目标):
- 无服务器 SQL 仓库 → 通过 ExpressRoute 或 VPN 可达的本地 PostgreSQL / MySQL / SQL Server
- 无服务器笔记本 → VNet/VPC 后面的私有 REST API
- 无服务器 → 任何前置了 Private Link Service 的云资源(自管理数据库、自定义服务、合作伙伴 SaaS PLS)
- Lakehouse Federation 到自管理数据库的连接(不是 Azure 托管的 PaaS——那些有自己的私有端点流程)
在每种情况下架构都相同:Serverless → NCC 私有端点 → 客户的 Private Link Service → 客户的内部负载均衡器 → 目标资源。目标会替换,连接栈不变。
各云平台的网络基线
任何生产部署的最低推荐基线是 VNet/VPC 注入加安全集群连接(启用 no_public_ip)。这样无需 Private Link 的运维复杂度即可获得私有计算节点。
确定客户使用的云平台后,阅读对应的云专属文件以了解架构模式、分步部署指南和注意事项:
- Azure:阅读 AZURE.md,了解私有链接模式(单工作区、Hub-Spoke)、NCC 设置以及 Azure 特有的 DNS 和网络注意事项。
- AWS:阅读 AWS.md,了解 VPC 端点模式(仅后端、完整前端+后端)、NCC 设置以及 AWS 特有的 IAM 和路由注意事项。
- GCP:阅读 GCP.md,了解 Private Service Connect(PSC)的仅后端和完整前端+后端模式、服务附件查找、DNS 以及 GCP 特有的注意事项(UC API + 仅 PSC 后端限制、已弃用的 ngrok-psc-endpoint 位置、public_access_enabled 的次日陷阱)。
交叉链接
- 工作区创建和基础设施供应,参见 platform-provisioning。
- 工作区供应完成后的 Unity Catalog 设置,参见 unity-catalog-setup。