SuperAPI AI 工具集

fabric-lakehouse

数据与分析

查看项目

更新于 10-15 21:52

技能介绍

用途:当需要生成包含 Fabric Lakehouse 定义与功能的文档或说明、按最佳实践设计构建和优化 Lakehouse 方案、理解 Microsoft Fabric 中 Lakehouse 的核心概念与组件、学习如何在 Lakehouse 中管理表格数据(表)与非表格数据(文件)时,可使用该技能获取上下文。

主要能力:Lakehouse 是 Microsoft Fabric 中的一项,用于存储表格数据(如表)和非表格数据(如文件),兼具数据湖的灵活性与数据仓库的管理能力。提供 OneLake 中结构化与非结构化数据的统一存储、Delta Lake 格式(支持 ACID 事务、版本管理与时间旅行)、用于 T-SQL 查询的 SQL 分析终结点、用于 Power BI 集成的语义模型,并支持 CSV、Parquet 等其他表格式及任意文件格式。关键组件包括 Delta 表(具备 ACID 合规与架构约束的托管表)、Files 区的非结构化/半结构化数据、自动生成的只读 SQL 终结点、无需复制即可虚拟链接内外部数据的快捷方式,以及按计划自动更新的 Fabric 物化视图。表存放在 Tables 文件夹下,主格式为 Delta;CSV、Parquet 等格式仅可用于 Spark 查询。表可为内部表或外部表,通过快捷方式引用。创建 Lakehouse 时可选择启用架构(schema),以文件夹形式组织表,默认架构为 dbo 且不可删除或重命名,其他架构可创建、重命名或删除,并可通过架构快捷方式引用另一 Lakehouse 的架构。文件存放在 Files 文件夹下,可建文件夹和子文件夹,支持任意文件格式。Spark 视图为 SQL 查询定义的逻辑表,不存储数据。安全方面:控制平面通过工作区角色(Admin、Member、Contributor、Viewer)和共享能力控制访问;数据访问使用基于 Microsoft Entra ID 和 RBAC 的 OneLake 安全模型,并支持表的列级和行级安全。快捷方式类型包括内部、ADLS Gen2、Amazon S3、Dataverse、Google Cloud Storage。性能优化方面,可为 Delta 表启用 V-Order 优化以加速语义模型读取;使用 OPTIMIZE 命令合并小文件并应用 Z-ordering,使用 Vacuum 清理旧文件释放空间。Lakehouse 支持血统(lineage),自动捕获表和文件的血统信息以追踪数据来源与转换。PySpark 代码示例和获取数据的具体方法见对应文档。

使用方式与限制:资料未提供该技能的具体安装命令、调用步骤或平台依赖,相关获取数据的操作细节需参考 PySpark 代码示例和 Get data 文档;收费、价格与效果等信息暂未提供。