用途：整理数据工程领域的知识要点，帮助理解数据管道设计、数据集成与数据质量治理的常见做法。
主要能力： 管道模式：批处理（定时任务，适合历史分析、报表、数据仓库，工具如 Apache Spark、Hadoop、Airflow、dbt）；流处理（实时摄取，适合实时分析、监控、欺诈检测，工具如 Kafka、Flink、Storm、Beam）；Lambda 架构（批处理层、速度层、服务层，兼顾批与实时，代价是维护两条代码路径）；Kappa 架构（统一流处理，可从事件日志重放，简化架构）。 ETL/ELT：ETL 在暂存区清洗转换后加载，强调减少对源系统影响、增量更新、加载前校验、记录转换逻辑；ELT 先加载原始数据到目标系统再用 SQL 转换，强调利用数仓算力、保留原始数据用于审计、用 dbt 编排并版本化转换逻辑。数据摄取模式包括全量、增量、变更数据捕获（CDC）与批量加载。 存储选型：SQL 数据库适合结构化关系数据与事务系统；NoSQL 分文档、键值、列族、图数据库，适合半结构化与高扩展场景；数据湖以原生格式存储、读取时定义模式；数据仓库面向分析优化，提供 SQL 接口。 数据质量：维度包括完整性、准确性、一致性、及时性、有效性、唯一性；校验技术含模式校验、范围检查、正则匹配、引用完整性、业务规则；还涉及数据剖析（统计分析、模式发现、异常检测、依赖分析）与数据血缘（来源追踪、转换追踪、影响分析、合规）。
使用方式与限制：资料未提供具体安装命令、代码示例或工具配置步骤，仅给出概念与方法论层面的分类与要点，实际落地需结合具体工具文档。