本技能用于 Azure Data Factory(ADF)与 Microsoft Fabric / OneLake 的 2025 集成,提供连接器配置、集成模式与运维参考。
用途:在 ADF 中连接 Fabric Lakehouse 与 Fabric Warehouse,实现数据移动与编排。
主要能力: Lakehouse 连接器支持 Copy(源与接收器)、Lookup、Get Metadata、Delete 活动;链接服务类型为 Lakehouse,认证优先用托管标识或服务主体,需 workspaceId 与 artifactId,接收类型为 LakehouseTableSink(表)或 LakehouseFileSink(文件),源类型为 LakehouseTableSource,表操作支持 append 与 overwrite。 Warehouse 连接器支持 Copy、Lookup、Get Metadata、Script、Stored Procedure 活动;链接服务类型为 Warehouse,认证推荐系统分配托管标识,也支持用户分配 MI 或服务主体,需 endpoint 与 warehouse,接收类型 WarehouseSink,写入支持 insert 或 upsert,可设 tableOption: "autoCreate" 自动建表。 OneLake 集成模式:ADLS Gen2 快捷方式(零拷贝)、基于水印的增量加载、通过 InvokePipeline 跨平台调用 Fabric 管道。数据已在 ADLS Gen2 时优先用 OneLake 快捷方式,仅在需要转换或格式转换时用 Copy Activity。
使用方式:获取 workspaceId 可从浏览器 URL(https://app.powerbi.com/groups/<workspaceId>/...)复制,artifactId 在 Lakehouse 设置中查看,或用 Fabric REST API 枚举。权限方面,Lakehouse 在 Fabric 工作区设置中为 ADF 托管标识添加 Contributor 角色;Warehouse 需执行 SQL:CREATE USER [your-adf-name] FROM EXTERNAL PROVIDER; 再授予 db_datareader 与 db_datawriter 角色。服务主体需在 Entra ID 注册应用、创建客户端密钥并存 Key Vault,再加入工作区;Warehouse 同样需创建 SQL 用户。
限制与注意:大于 1 GB 的加载建议启用带压缩的暂存;监控 Fabric 容量单元(CU)消耗与限流;为 Copy 活动配置重试策略,可用带 dependencyConditions: ["Failed"] 的 WebActivity 记录失败。常见问题包括权限拒绝(需等待约 5 分钟传播)、端点未找到(核对 ID 并确认未暂停)、架构不匹配(用 autoCreate 或显式列映射)、性能下降(启用暂存、提高 parallelCopies 4-8 与 DIU 8-32)。完整 JSON 示例见仓库中 references/lakehouse-examples.md、references/warehouse-examples.md、references/onelake-patterns.md。其他细节暂未提供。