SuperAPI AI 工具集

dlt

通用与其它

查看项目

更新于 10-16 06:42

技能介绍

用途:dlt 是面向 Python 的数据摄取库,帮助开发者把任意 API、文件或数据库的数据加载到 BigQuery、Postgres、Snowflake、DuckDB、MotherDuck 等目标,自动完成模式推断、增量加载与数据契约管理。

主要能力:用 @dlt.resource 装饰器把 Python 生成器定义为数据资源,pipeline.run() 即可运行并自动推断模式;支持 write_disposition 的 append 与 merge(配合 primary_key 做 upsert);通过 dlt.sources.incremental 实现有状态增量加载,自动在多次运行间跟踪游标;提供声明式 rest_api_source,用配置描述标准 REST API 的客户端、认证、分页与资源,无需手写代码;支持 columns 与 schema_contract(freeze、evolve、discard_value、discard_row)定义数据契约,在 API 结构变化时按策略处理。

使用方式:安装命令为 pip install dlt[bigquery],其他目标适配器包括 dlt[snowflake]、dlt[postgres]、dlt[duckdb]、dlt[motherduck]。用 dlt.pipeline(pipeline_name=..., destination=..., dataset_name=...) 创建管道,再 pipeline.run(...) 执行。密钥通过 dlt.secrets["key"] 读取,可来自环境变量或 .dlt/secrets.toml。行级转换可用 add_map(),较重的转换建议交给 dbt。

适用场景:从 API、文件或数据库向仓库/数据湖做数据摄取;实体表用 merge 加主键,事件流用 append;开发阶段可先用 DuckDB 本地调试,生产再切换 BigQuery/Snowflake。dlt 是库而非服务,可部署在 cron、Airflow、Dagster、GitHub Actions 或 Lambda 中。

限制:资料未提供具体收费、价格、平台支持范围与性能指标,暂未提供。