用途:把本地或标准输入的数据文件流式导入 Elasticsearch,并在导入过程中做转换。支持 NDJSON、CSV、Parquet、Arrow IPC 格式,适合大文件批量入库,避免内存不足。
主要能力:流式处理大文件;批量匹配模式(如 logs/*.json);自定义 JavaScript 转换,可增补字段、过滤(返回 null 跳过)或拆分文档(返回数组);支持自定义 mappings、推断 mappings 与 ingest pipeline、CSV 解析选项、进度条与停顿告警。
使用方式:需 Elasticsearch 8.x/9.x 与 Node.js 22+。在技能目录执行 npm install。连接信息仅通过环境变量配置,支持 Cloud ID + API Key、URL + API Key、URL + 用户名密码,开发环境可设 ELASTICSEARCH_INSECURE=true。先运行 node scripts/ingest.js test 验证连接,通过后再导入,例如 node scripts/ingest.js ingest --file /absolute/path/to/data.json --target my-index;CSV 可加 --source-format csv,Parquet 用 --source-format parquet,Arrow 用 --source-format arrow,也可用 --stdin 从管道读取。
限制:不得在命令行参数中传凭据,也不得回显或记录密钥值;--infer-mappings 不可与 --source-format 同时使用,否则会双重解析导致空索引;--delete-index 等破坏性操作需用户明确确认。重索引、实时采集、企业级管道等场景应改用其他方案。具体收费与平台支持暂未提供。