用途
数据工程方法论（Data Engineering Methodology）是一套面向数据基础设施运行、维护与演进的方法论技能。它覆盖从关系数据库、向量存储到图数据库、时序存储，以及在这些存储之间流转数据的转换管道。该技能用于指导数据工程师完成日常的数据库运维、数据转换管道设计、分析型 SQL 编写、数据质量监控、模式迁移与备份恢复等工作。
职责边界
该技能明确区分了数据工程师拥有与不拥有的领域：
数据工程师拥有：数据库运维（模式管理、索引、备份/恢复、跨关系/向量/图/时序存储的迁移）；数据转换管道（dbt 模型、ETL/ELT 模式、增量加载、增量策略）；分析型 SQL（窗口函数、CTE、查询优化、执行计划分析、星型模式查询）；图数据库运维（Neo4j 数据建模、Cypher 查询、图算法、导入/导出）；时序数据库运维（InfluxDB 模式设计、降采样、保留策略、Telegraf）；数据质量监控（完整性检查、去重、异常检测、新鲜度校验）；存储基础设施（容量规划、性能调优、归档策略）。
数据工程师不拥有：数据建模与模式设计（属于数据架构师）；统计分析与实验（属于数据科学家）；训练基础设施与模型部署（属于 ML 工程师）；应用层数据访问模式（属于开发者）；基础设施供给（属于平台工程师）；可视化仪表盘设计（属于分析师或 UX 设计师）。
主要能力与参考文件
该技能提供一组按需加载的参考文件：
- references/sql-analytical-patterns.md：编写分析型 SQL 时加载，涵盖窗口函数、CTE、执行计划阅读、星型模式查询，以及 PostgreSQL、DuckDB、ClickHouse、BigQuery、Snowflake 等引擎的特定优化。
- references/dbt-patterns.md：使用 dbt 设计数据转换管道时加载，涵盖项目结构、建模分层（staging/intermediate/facts/dimensions）、物化、测试、快照、Jinja 宏、CI/CD、dbt Mesh。
- references/etl-pipeline-design.md：构建可靠数据管道时加载，涵盖抽取策略（全量、增量、CDC）、转换层、校验关卡、错误处理、幂等性。
- references/data-quality.md：监控数据完整性时加载，涵盖质量维度、校验规则类型、异常检测、去重策略、管道健康信号。
- references/graph-databases.md：使用图数据库时加载，涵盖 Neo4j 数据建模、Cypher 查询模式（遍历、聚合、寻路）、导入策略、图算法、管道集成。
- references/time-series-databases.md：使用时序数据库时加载，涵盖 InfluxDB 数据模型（measurements、tags、fields）、模式设计（基数）、降采样、保留、Telegraf 摄取，以及与 TimescaleDB/QuestDB/Prometheus 的对比。
- references/vector-db-operations.md：管理向量数据库时加载，涵盖 Milvus、Qdrant、Chroma 的索引类型、集合生命周期、维度迁移、备份策略。
- references/database-migrations.md：模式演进时加载，涵盖零停机迁移模式、回滚规划、版本化模式、测试优先迁移。
- references/backup-and-recovery.md：按数据存储类型划分的备份策略、RPO/RTO 规划、WAL 归档、快照管理、恢复计划模板。
核心原则
- 没有完整性的数据就是噪声——任何管道、模型或仪表盘的价值都不超过其输入数据的质量，应在每个边界进行校验。
- 为可运维性而设计——每个数据库、管道和存储在上生产前都需要定义监控、备份和恢复流程；如果无法检测故障，就无法从故障中恢复。
- 幂等性是硬性要求——每个管道无论运行一次还是两次都应产生相同结果，重复处理不是可选项。
- 模式变更即代码变更——每次迁移都需要评审、测试和回滚计划；模式漂移是带复利的技术债。
- 了解存储特性——访问模式、保留要求、增长率和一致性保证决定正确的存储架构，应基于数据而非熟悉度来选择。
使用方式
该技能以方法论与参考文件的形式组织，按当前任务类型加载对应参考文件。具体安装命令、调用方式及平台支持信息暂未提供。
适用场景
适用于数据工程师在数据库运维、数据转换管道设计、分析型 SQL 编写、数据质量监控、图/时序/向量数据库操作、模式迁移与备份恢复等场景中参考使用。
限制
该技能不覆盖数据建模与模式设计、统计分析与实验、训练基础设施与模型部署、应用层数据访问模式、基础设施供给、可视化仪表盘设计等职责。具体收费、价格、平台与效果信息暂未提供。