SuperAPI AI 工具集

managed-ingestion-service

数据与分析

查看项目

更新于 10-16 03:11

技能介绍

用途:面向已拥有 Amazon OpenSearch Service(AOS)域或 Amazon OpenSearch Serverless(AOSS)集合、需要大规模摄入文档,或从本地开发迁移到云端摄入的场景,涉及 OSIS、S3 摄入、云端处理与托管摄入。

摄入路径:一是本地处理,将本地 Docling 生成的 JSONL 分块上传 S3,处理器用 parse_json(直通),现已可用,适合本地校验后规模化部署;二是云摄入,直接上传原始 PDF/DOCX/PPTX/XLSX,由 document_extractor 处理,目前为私有测试版。二者 sink 选项相同,仅源内容与处理器不同。

必要用法:先验证凭证,执行 aws sts get-caller-identity,失败则停止并请用户配置。确认目标为 AOS 域还是 AOSS 集合;AOS 需 OpenSearch 2.19+ 且仅支持公有域(无 VPC),AOSS 需为 ACTIVE 状态。再确认已有 JSONL 分块还是原始文档。随后逐项收集部署端点、S3 桶名、S3 前缀、目标索引名、IAM 角色 ARN、网络策略名(仅 AOSS)、区域等参数。选择 sink 模式:已有索引则用普通 opensearch sink,不加 semantic_enrichment,文档直接写入;新建索引则用 semantic_enrichment 自动创建带 ASE 的索引,并指定需要稀疏向量嵌入的文本字段。上传分块可用 aws s3 cp .opensearch/chunks/<index>/<file>.jsonl s3://<bucket>/<prefix>/,多文件加 --recursive。生成的 YAML 保存到 .opensearch/pipelines/<pipeline-name>.yaml,再用 aws osis create-pipeline 创建,并用 aws osis get-pipeline 轮询至 ACTIVE 后验证文档数。

限制:AWS 凭证、IAM 角色(S3 读与 OpenSearch 写权限)为必需前提;使用 semantic_enrichment 时不要手动创建索引;parse_json 是处理器、semantic_enrichment 在 sink,二者相互独立;云摄入为私有测试版,需邮件联系开通;其他价格、配额等信息暂未提供。