用途:该技能提供把外部数据导入系统的模式,适用于导入 CSV/JSON/Parquet/Excel 文件、从 S3/GCS/Azure Blob 加载、消费 REST/GraphQL API、构建 ETL/ELT 管道、数据库迁移与 CDC、以及从 Kafka/Kinesis 流式摄取。
主要能力:按数据源给出决策树,分别指向云存储、文件格式、API 源、流式源、数据库迁移与 ETL 工具等参考文档;归纳四类摄取模式:批处理(分块读取、校验和幂等、状态跟踪、部分失败处理)、流式(至少一次/精确一次、背压、死信队列、检查点)、API 轮询(限流退避、增量游标、分页、重试)、CDC(初始快照加流式变更、模式演进、顺序保证、冲突解决)。
使用方式:提供 Python、TypeScript/Node.js、Rust、Go 的示例,如 dlt 定义 source/resource 并运行 pipeline、Polars 读写文件与写库、S3 下载解析 CSV、Hono 接收 webhook、Rust 用 Polars 解析 Parquet、Go 并发处理 CSV。附库推荐表(ETL 框架、云存储、文件处理、流式、CDC)与脚本:validate_csv_schema.py、test_s3_connection.py、generate_dlt_pipeline.py。摄取后可链式衔接关系型、文档、向量、时序、图数据库技能,向量库需经 ai-data-engineering 做嵌入。
限制:资料未提供具体收费、价格、平台支持范围与效果数据;示例代码需按实际环境调整,未提供完整部署与运维细节。