用途:这是一个端到端批处理数据管道技能,处理外卖业务数据,采用 Bronze(RAW)→Silver(STAGING)→Gold(MARTS)→AI 的分层架构。数据流为:CSV → S3 数据湖 → Snowflake RAW → dbt STAGING → dbt MARTS → AI 层。
主要能力:Bronze 层通过存储集成从 S3 COPY INTO 载入原始表;Silver 层用 dbt 视图清洗、转换类型与重命名;Gold 层包含维度表、增量事实表(MERGE)、业务聚合与 SCD2 快照;AI 层提供 LLM 富集、RAG 对话与 text-to-SQL 查询。数据规模示例为 1000 万订单、2300 万订单项、30 万条文本评论,共 7 张源表(restaurants、users、food、menu、orders、order_items、reviews)。
使用方式:先克隆仓库并准备 CSV 数据,配置 AWS S3 存储桶与 IAM 策略/角色,在 Snowflake 中创建仓库、数据库、Schema、角色与外部存储集成及外部阶段,再配置 dbt profiles.yml 与环境变量(SNOWFLAKE_ACCOUNT、SNOWFLAKE_USER、SNOWFLAKE_PASSWORD 等),运行 dbt debug、dbt deps,最后在 airflow 目录复制 example.env 为 .env、docker compose build 与 docker compose up -d 启动 Airflow(默认 admin/admin,端口 8080)。Airflow DAG 按 @daily 调度,依次执行 reload_raw、dbt_build_core、enrich_reviews、dbt_build_ai。
适用场景:外卖/餐饮类批处理分析管道搭建、基于 dbt 的数据仓库分层建模学习、Snowflake 与 S3 集成实践、以及在数据管道中引入 LLM 富集的场景。
限制:资料未说明该技能是否可直接作为 AI 工具调用,也未说明收费、价格或性能效果;AI 部分依赖 OpenAI API Key,实际运行需自行准备云资源与凭据。相关命令与代码需保持原样,具体运行细节以原始仓库与文档为准。