SuperAPI AI 工具集

senior-data-engineer

数据与分析

查看项目

更新于 10-16 05:53

技能介绍

用途:帮助数据工程师规范地设计可靠管道与数据集,重点在数据接入、转换、编排、模式演进、数据契约与数据质量,目标是让数据管道可预测、可观测、可恢复。

主要能力与工作流:先定义数据契约(模式、语义、新鲜度、所有权),再设计管道的输入、转换、输出、回填与失败处理,并加入空值、范围、唯一性和引用完整性等质量检查。同时考虑重试、检查点、告警与血缘等运维要素。技能附带的参考资料包括数据契约模板 references/data-contract.md 与管道清单 references/pipeline-checklist.md。

可选用法:提供轻量级 CSV/JSONL 数据剖析脚本,可按以下命令运行: python ~/.codex/skills/senior-data-engineer/scripts/data_quality_scan.py path/to/data.csv --out /tmp/data_profile.json

适用场景:设计或评审数据管道、编写数据契约、制定数据质量与运维方案时使用。

限制:除上述命令与参考文件外,具体平台、依赖、收费与价格信息暂未提供;实际效果依数据与实现而定。