data-engineering

该技能套件将数据工程知识按域组织为多个子技能，便于按任务定位。核心域涵盖 Polars、DuckDB、PyArrow 基础、ETL 模式、错误处理与性能优化；存储域包含 Delta Lake、Apache Iceberg、Apache Hudi 等湖仓格式，fsspec、pyarrow.fs、obstore 等远程访问方式，AWS/GCP/Azure 认证，以及 Parquet、Lance、Zarr、Avro、ORC 等格式。此外还提供编排（Prefect、Dagster、dbt）、流处理（Kafka、MQTT、NATS JetStream）、数据质量（Great Expectations、Pandera）、可观测性（OpenTelemetry、Prometheus）、AI/ML（嵌入、向量数据库、RAG）、最佳实践（Medallion 架构、分区、增量加载、模式演进、测试）与数据目录（Iceberg catalogs、DuckDB 多源、Amundsen/DataHub/OpenMetadata）。用法上，新用户可从 @data-engineering-core 入门，处理云存储、数据湖、目录选择、生产级管道、编排、监控或 AI/ML 管道时分别进入对应子技能。资料未提供具体安装命令与代码示例，相关细节暂未提供。