用途
该技能用于构建数据摄取管道，从多种来源抽取数据，经过校验、转换、去重后加载到目标系统，覆盖批量和流式数据场景。
主要能力
管道架构为：来源 → 抽取 → 校验 → 转换 → 暂存 → 加载 → 验证。
- 来源抽取：支持文件（JSON、YAML、CSV）、API（含分页循环）和数据库（异步游标分批读取）。
- 校验：包括 schema 校验（必填字段、类型、最大长度）和业务规则校验（如枚举值、状态机状态）。
- 去重与合并：按关键字段去重，并提供三种合并策略：保留首条（KEEP_FIRST）、保留最新（KEEP_LATEST）、字段合并（MERGE_FIELDS）。
- 暂存区模式：将批次数据与元数据写入暂存目录，支持 promote 提升操作，便于检查与回滚。
- 管道编排：将抽取器、校验器、转换器、加载器组合为 IngestionPipeline，运行后返回抽取数、有效数、无效数和加载数。
使用方式
文档以 Python 代码示例展示各阶段实现，包括 FileExtractor、分页 API 抽取、数据库抽取、validate_records、apply_business_rules、deduplicate、merge_duplicates、StagingArea 和 IngestionPipeline。使用者可按示例实现各组件并组装运行。
适用场景
适用于需要从多源（文件、API、数据库、流）抽取数据，进行校验、规范化、去重并加载到目标系统的数据集成任务，支持批量与流式数据。
限制与反模式
文档列出应避免的反模式：无校验门（应先校验再加载）、直接从来源加载（应先暂存）、不去重、静默丢数据（应记录并报告每条跳过或无效记录）、单体管道（应拆分为可组合阶段）、无幂等性（重跑应产生相同结果）。具体依赖、运行环境、收费与价格等信息暂未提供。