SuperAPI AI 工具集

using-duckdb

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:在 Fabric 环境中通过 DuckDB 查询 OneLake 上的 Delta 表以及 CSV、Parquet、JSON 等原始文件,用于探索、验证和临时分析;也适用于在 Fabric Notebook 内以较快速度对单节点数据做分析查询,并可与 Spark 写回结合。本能力为只读,写入请使用执行 Spark 的技能。

两种模式:本地模式在开发机运行,认证使用 Azure CLI(az login),适合探索与验证;Notebook 模式在 Fabric Spark 容器内运行,认证使用 notebookutils.credentials.getToken('storage')。

主要能力:用 delta_scan 读取 Delta 表;用 read_csv、read_parquet、read_json 读取原始文件,支持 、* 等通配符多文件读取;支持跨条目(不同 abfss:// 路径)在单条 DuckDB 查询中做连接;可自动发现湖仓中的 Delta 表并创建视图。

必要用法:本地需安装 DuckDB(macOS 可用 brew install duckdb)、完成 az login,并一次性执行 INSTALL delta; INSTALL azure;。查询时需 LOAD delta; LOAD azure; 并创建 azure secret,使用 CHAIN 'cli' 以走 Azure CLI 凭据,否则会先尝试托管标识而在本地失败。Notebook 内通过 storage token 创建 OneLake secret 后执行 delta_scan。OneLake 路径格式为 abfss://<workspace-id>@onelake.dfs.fabric.microsoft.com/<item-id>/Tables/<schema>/<table> 或 .../Files/<path>,ID 可用 fab get 获取。

适用场景:数据新鲜度检查、质量校验、模式发现、跨表连接、行数审计等。

限制:仅支持读取,不提供写入;资料未说明其他平台支持范围、配额、收费或性能保证。更多模式与 Notebook 自动发现、写回示例见引用的 reference 文档。