SuperAPI AI 工具集

build-data-pipeline

数据与分析

查看项目

更新于 10-16 01:20

技能介绍

用途:当用户需要从数据摄取到对外服务的完整工作流,而非单次加载或临时转换时,使用该技能设计 MotherDuck 端到端管道。它编排 connect、load-data、model-data、query、share-data 与 ducklake 等技能。

主要能力:先确认是否存在可用的远程或本地 MotherDuck 服务器;若可用则探查现有数据库与 schema、raw/staging/analytics 边界、源表与目标表及粒度、关键列、日期字段与连接键,据此判断是落地到空工作区、扩展现有仓库还是发布到已有分析模型。若没有活动服务器,则先询问源与目标形态。

默认原则:批处理优先于流式;先原始落地再治理;显式划分 raw→staging→analytics;优先批量摄取而非逐行写入;除非明确需要 DuckLake,否则使用 MotherDuck 原生存储。

工作流:确认实时发现是否可用;检查工作区与目标数据模型;定义三层边界;摄取原始数据;去重、定型并提升到 staging;物化分析就绪输出;发布前校验计数与业务指标。

输出:阶段布局、摄取方式、转换顺序、服务表或视图、校验检查。若调用方明确要求结构化 JSON,则仅返回顶层为 summary、assumptions、implementation_plan、validation_plan、risks 的原始 JSON,不加 Markdown 围栏或前后文字。

用法与限制:提供可运行示例,如 uv run --with duckdb python skills/build-data-pipeline/artifacts/pipeline_stage_example.py,以及设置 MOTHERDUCK_ARTIFACT_USE_MOTHERDUCK=1 对临时库运行;完整项目需设置 MOTHERDUCK_TOKEN 与 MOTHERDUCK_PIPELINE_DB,使用 uv sync --python 3.12 后运行 pipeline/run_all.py。注意:运行 dlt 前须先引导目标 MotherDuck 数据库,motherduck 目标不会自动创建;当前建议 Python 3.11 或 3.12;dbt 中如需精确 schema 名需覆盖 generate_schema_name;长驻 Python 进程加载数据与独立 dbt 子进程建模时,应在全新进程或刷新数据库状态后再读取新关系。收费、价格与平台支持等事实暂未提供。