用途：该技能定位为资深数据工程能力集合，面向生产级 AI/ML/数据系统，帮助构建可扩展的数据管道、ETL/ELT 系统与数据基础设施，并覆盖架构、性能、部署与运维实践。
主要能力：涵盖高级生产模式与架构、可扩展系统设计与实现、大规模性能优化、MLOps 与 DataOps 最佳实践、实时处理与推理、分布式计算框架、模型部署与监控、安全与合规、成本优化以及团队指导。技术栈包括 Python、SQL、R、Scala、Go；PyTorch、TensorFlow、Scikit-learn、XGBoost；Spark、Airflow、dbt、Kafka、Databricks；LangChain、LlamaIndex、DSPy；Docker、Kubernetes、AWS/GCP/Azure；MLflow、Weights & Biases、Prometheus；PostgreSQL、BigQuery、Snowflake、Pinecone。
使用方式：提供若干脚本入口，必要命令保持原样： python scripts/pipeline_orchestrator.py --input data/ --output results/ python scripts/data_quality_validator.py --target project/ --analyze python scripts/etl_performance_optimizer.py --config config.yaml --deploy 另有开发、训练、部署与监控类命令，例如 pytest、black、pylint、train.py、evaluate.py、docker build、kubectl apply、helm upgrade 等。参考文档包括 references/data_pipeline_architecture.md、references/data_modeling_patterns.md、references/dataops_best_practices.md。
适用场景：企业级分布式数据处理、批流一体管道、ML 模型部署与 A/B 测试、特征存储、实时高吞吐推理、监控与漂移检测、自动重训，以及安全合规与成本优化。
限制：资料未提供具体版本、依赖安装步骤、许可与收费信息；性能目标（如 P50<50ms、P95<100ms、P99<200ms、>1000 请求/秒、99.9% 可用性）为文档设定的目标，并非保证结果。实际效果取决于数据与运行环境。