SuperAPI AI 工具集

es-ingest

通用与其它

查看项目

更新于 10-16 05:42

技能介绍

用途:将大型数据文件以流式方式导入并转换到 Elasticsearch,避免内存耗尽,也支持索引间复制与迁移。注意该技能已标记弃用,官方推荐改用 elasticsearch-file-ingest。

主要能力:基于 node-es-transformer;流式处理(实测 20-30GB)、较高吞吐(普通硬件最高约 2 万文档/秒)、跨 ES 8.x 与 9.x 迁移;支持 NDJSON、CSV、Parquet、Arrow IPC;支持用自定义 JavaScript 转换函数在导入时修改文档,可返回 null/undefined 跳过文档,或返回数组把一条源文档拆成多条;支持通配符导入多个文件、重索引现有索引、按查询过滤源文档、跨集群重索引。CSV/Parquet/Arrow 需要 node-es-transformer >= 1.2.0。

使用方式:前置条件为可访问的 Elasticsearch 8.x 或 9.x 和 Node.js 22+。首次使用先执行 cd {baseDir} && npm install。基本用法如 {baseDir}/scripts/ingest.js --file data.json --target my-index;也可通过 --stdin 从标准输入读取 NDJSON/CSV,用 --source-format 指定 csv、parquet、arrow,用 --source-index 做重索引,用 --mappings、--infer-mappings、--transform、--query、--node、--api-key 等参数控制。

适用场景:大批量文件导入、ES 版本迁移、导入时做富化/拆分/过滤、批量匹配文件导入、带转换的跨集群复制。

限制:官方指出不适合实时采集(可用 Filebeat/Elastic Agent)、企业级管道(可用 Logstash)、内置转换(可用 Elasticsearch Transforms)以及小于 100MB 的小文件(直接调 API 可能更简单)。其他细节暂未提供。