用途:提供构建批处理与流式 ML 数据流水线的专家级模式,覆盖 Apache Beam、Flink、dbt 及编排工具,帮助团队把特征计算、质量校验与回填流程工程化。
主要能力(资料中给出的 6 类模式):
- Beam DoFn:按元素处理单元,正确实现 setup 加载共享资源、process 处理并可用 TaggedOutput 将异常记录路由到 errors 死信输出,主输出与错误输出分别写出。
- 分支与扇出:把一个 PCollection 拆成多路,例如高价值用户实时特征、全量用户批特征、新用户冷启动特征,分别写入不同存储。
- Flink 流式特征:Kafka 源,设置并行度与 checkpointing,分配事件时间与水位线,按 key 分窗(如 5 分钟滚动窗口)聚合后写回 Kafka。
- dbt 增量特征模型:incremental 物化、unique_key、分区与 on_schema_change 配置,配合 schema.yml 做唯一性、非空与取值范围测试。
- Great Expectations 校验:对 DataFrame 运行时批次执行期望套件,校验失败时打印失败项并返回 False,可用代码程序化定义套件。
- 回填策略:用 Prefect task/flow,按日期幂等计算特征,已存在则跳过,支持按日期并行分块回填。
资料还列出反模式:无死信队列、时间点泄漏(须满足 event_ts < label_ts)、非幂等步骤、不做数据检查就触发批任务、Parquet 全用字符串类型。
限制与缺失:资料未提供安装命令、依赖版本、收费与授权、性能基准或完整部署步骤,具体环境配置需另行确认。