assuring-data-pipelines

该技能用于保障生产数据管道的正确性与可见性，围绕两大方向：数据质量（Great Expectations、Pandera）与可观测性（OpenTelemetry、Prometheus）。数据质量方面，Great Expectations 以声明式 expectations 校验 schema、分布与业务规则，支持 Pandas、Spark、SQL、BigQuery，输出 JSON 诊断结果，适合企业级数据平台、数据画像与详细报告；Pandera 用 Python 类型提示式 schema 定义，支持 Pandas、Polars、PySpark、Dask，校验返回布尔或抛异常，学习曲线更低，适合 Python 生态中的 ETL 脚本与轻量校验。可观测性方面，OpenTelemetry 提供厂商中立的分布式追踪、指标与日志，可为 extract、transform、load 等阶段建立 span 并记录属性与异常，跨服务可用 B3 等格式传播 trace 上下文；Prometheus 客户端提供 Counter、Histogram、Gauge，通过 start_http_server(8000) 暴露端点供抓取，并配合 Grafana 面板与 Alertmanager 告警规则。安装命令示例：pip install great_expectations、pip install "great_expectations[spark]"、pip install pandera[pandas]、pip install pandera[polars]、pip install opentelemetry-api opentelemetry-sdk opentelemetry-exporter-otlp、pip install prometheus-client。可与 Prefect、Dagster 编排集成，在管道任务中校验失败即中断或隔离；测试模式可用 pytest 配合 Pandera schema 校验转换输出。限制与前提：仅校验已定义规则，不能发现未覆盖的语义错误；Prometheus 指标需注意标签基数；追踪采样需按环境调整。其他细节（如具体价格、平台支持范围）暂未提供。