SuperAPI AI 工具集

motherduck-build-data-pipeline

数据与分析

查看项目

更新于 10-15 09:20

技能介绍

用途

该技能面向在 MotherDuck 上构建数据管道的场景,目标是打通从数据摄取(ingestion)到对外服务(serving)的链路,包含阶段边界设计、数据转换以及结果发布。资料将其描述为“Build a Data Pipeline with MotherDuck”。

主要能力与工作流程

根据资料,该技能的工作流程包括:

  1. 检查可用的 MotherDuck 服务器或提供的源与目标上下文。
  2. 检查当前工作区与目标数据模型。
  3. 定义 raw、staging、analytics 三层边界。
  4. 摄取原始数据。
  5. 去重、进行类型处理并提升到 staging 层。
  6. 物化 analytics 就绪的输出。
  7. 在下游发布前校验计数、新鲜度、唯一性和业务指标。

当交付中包含持久上下文时,可将稳定的业务定义和操作注意事项记录在引用的 Guides 中,并将可执行的转换逻辑保持在源代码管理中。执行需与请求匹配:回答、审查或规划类工作返回所请求的管道制品;构建或变更类工作则创建请求范围内相关的文件和仓库对象并加以验证。在执行破坏性操作、无关的外部写入或实质性扩大范围前应先询问。

管道默认偏好

资料列出的默认偏好包括:

  • 批处理优先于流式(batch over streaming)
  • 先原始落地再整理(raw landing before curation)
  • 显式的 raw -> staging -> analytics 边界
  • 批量摄取路径优先于逐行写入
  • 在定时自动化前先保证幂等的阶段重建或追加契约
  • 在推荐上游专有的写入、检查点或 lakehouse 特性前,先验证受 MotherDuck 支持的 DuckDB 客户端版本
  • 除非明确需要 DuckLake,否则使用 MotherDuck 原生存储
  • 当智能体具备 shell 时,使用 MotherDuck CLI 处理 Flight 源和大型文件形态的输出;纯聊天操作使用 MCP
  • 当组织已有相应约定时,使用 flights Guide 获取可复用的调度、命名、密钥和摄取约定

使用方式

技能会先判断是否存在可用的 MotherDuck 服务器:使用活动的远程 MotherDuck MCP 服务器或本地 MotherDuck 服务器来检查范围内的数据库、schema、粒度(grain)、键以及相关指标。应复用已知上下文并把发现范围收窄到所请求的工作,默认不扫描整个工作区,让实际数据模型塑造结果。目标应从请求或活动上下文中解析;仅在歧义会实质性影响结果时才询问。若没有服务器,则使用提供的 schema 和显式假设进行规划,不得暗示已进行实时验证。

当该技能产生原生 DuckDB(md:)连接时,需用 custom_user_agent=agent-skills/2.6.0(harness-<harness>;llm-<llm>) 打上水印;若缺少元数据,则回退为 harness-unknown 和 llm-unknown。

输出

对于完整的工作,资料要求按请求相关性覆盖以下内容:阶段布局(stage layout)、摄取方法、转换顺序、服务表或视图、验证检查。对于明确的结构化 JSON 请求,读取输出契约;否则使用适合所求交付物的格式。

适用场景与限制

适用场景为在 MotherDuck 上从摄取到服务端构建数据管道,包括阶段设计与转换、以及对发布前的有效性校验。

限制与注意点:默认不扫描整个工作区;无服务器时只能基于提供的 schema 和显式假设做规划,不能声称进行了实时验证;执行破坏性操作、无关外部写入或大范围扩围前需先询问;只有在组织已有约定时才使用 flights Guide;DuckLake 仅在开放表格式存储为真实需求时才使用。资料未提供关于具体收费、价格、平台支持细节和效果的信息。