用途:这是一套数据工程方法论,面向运行、维护和演进数据基础设施,涵盖关系型、向量、图、时序数据库的运维,以及数据转换管道。资料同时给出职责边界:本技能负责数据库运维、转换管道、分析型 SQL、图与时序数据库操作、数据质量监控、存储基础设施;不负责数据建模与模式设计(数据架构师)、统计分析与实验(数据科学家)、训练基础设施与模型部署(ML 工程师)、应用层数据访问(开发者)、基础设施供给(平台工程师)、可视化仪表盘设计(分析师)。
主要能力与参考文件:分析型 SQL(窗口函数、CTE、执行计划、星型模式查询,以及 PostgreSQL、DuckDB、ClickHouse、BigQuery、Snowflake 的引擎优化);dbt 模式(项目结构、分层建模、物化、测试、快照、Jinja 宏、CI/CD、dbt Mesh);ETL 管道设计(全量、增量、CDC 抽取,转换层、校验门、错误处理、幂等性);数据质量(质量维度、校验规则、异常检测、去重、管道健康信号);图数据库(Neo4j 建模、Cypher 遍历/聚合/寻路、导入、图算法);时序数据库(InfluxDB 数据模型、基数设计、降采样、保留策略、Telegraf,并与 TimescaleDB/QuestDB/Prometheus 对比);向量数据库(Milvus、Qdrant、Chroma 的索引类型、集合生命周期、维度迁移、备份);数据库迁移(零停机模式、回滚、版本化模式、测试先行);备份与恢复(按存储类型的策略、RPO/RTO、WAL 归档、快照、恢复模板);AI 转换边界(验收、重试、成本与发布边界)。
使用方式:当模型提出数据转换时,加载 AI 边界工作流并使用配套记录;按任务类型加载对应 references 文件。相关技能:postgres 负责 PostgreSQL 引擎级运行手册,supabase 负责 Supabase 平台操作。
核心原则:无完整性的数据即噪声,在每个边界校验;为可运维性设计,上线前定义监控、备份与恢复;幂等性是硬性要求;模式变更即代码变更,需评审、测试与回滚计划;依据访问模式、保留要求、增长率和一致性保证选择存储架构。
限制:资料未提供具体安装命令、价格、平台支持范围或效果数据,暂未提供。