senior-data-engineer

用途：该技能面向生产级 AI/ML/数据系统的数据工程工作，涵盖可扩展数据管道、ETL/ELT 系统与数据基础设施的构建与优化。主要能力包括高级生产架构与模式、大规模系统设计与性能优化、MLOps 与 DataOps 实践、实时处理与推理、分布式计算框架、模型部署与监控、安全合规、成本优化以及团队指导。技术栈涉及 Python、SQL、R、Scala、Go，Spark、Airflow、dbt、Kafka、Databricks，以及 Docker、Kubernetes 和云平台。使用方式：提供三个核心脚本命令，python scripts/pipeline_orchestrator.py --input data/ --output results/、python scripts/data_quality_validator.py --target project/ --analyze、python scripts/etl_performance_optimizer.py --config config.yaml --deploy；另附开发、训练、部署与监控命令，如 pytest、black、pylint、docker build、kubectl apply、helm upgrade 等，并配有 references 目录下的架构、建模与 DataOps 参考文档。适用场景：企业级批流数据处理、ML 模型上线、实时高吞吐推理等。限制：资料未提供该技能的具体安装步骤、收费方式、平台支持范围与实测效果，需结合实际情况评估。