用途:该技能定位为资深数据工程能力,用于构建生产级 AI/ML/数据系统,包括可扩展数据管道、ETL/ELT 系统与数据基础设施,并覆盖 MLOps、DataOps、实时处理、分布式计算、模型部署与监控、安全合规、成本优化及团队指导等方向。
主要能力:资料列出核心专长包括高级生产模式与架构、可扩展系统设计与实现、大规模性能优化、MLOps/DataOps 最佳实践、实时处理与推理、分布式计算框架、模型部署与监控、安全与合规、成本优化、团队领导与指导。技术栈涉及 Python、SQL、R、Scala、Go;PyTorch、TensorFlow、Scikit-learn、XGBoost;Spark、Airflow、dbt、Kafka、Databricks;LangChain、LlamaIndex、DSPy;Docker、Kubernetes、AWS/GCP/Azure;MLflow、Weights & Biases、Prometheus;PostgreSQL、BigQuery、Snowflake、Pinecone。
使用方式:资料提供三个核心工具命令:python scripts/pipeline_orchestrator.py --input data/ --output results/;python scripts/data_quality_validator.py --target project/ --analyze;python scripts/etl_performance_optimizer.py --config config.yaml --deploy。另附参考文档 references/data_pipeline_architecture.md、references/data_modeling_patterns.md、references/dataops_best_practices.md,以及 scripts/ 目录下的自动化脚本。常见命令包括测试、格式化、训练、评估、Docker 构建、kubectl 与 helm 部署、日志与健康检查等。
适用场景:企业级分布式数据处理、ML 模型部署与 A/B 测试、特征存储集成、模型漂移检测与自动重训、高吞吐实时推理、批流一体处理、数据质量校验与性能监控。
限制:资料未说明该技能的收费、价格、平台支持范围、实际效果验证方式及具体安装步骤,这些信息暂未提供;性能目标(如 P50 < 50ms、P95 < 100ms、P99 < 200ms、可用性 99.9% 等)为资料中列出的目标值,并非已验证结果。