用途：构建生产可用的文档嵌入与检索（RAG）流水线，将多种来源的文档转换为向量并支持检索。
核心流程：加载文档 → 预处理 → 分块 → 生成嵌入 → 建立索引 → 检索优化，模块包括 Loader、Preprocessor、Chunker、Embedder、Indexer、Retriever。
主要能力：多来源加载，支持读取目录，按扩展名解析 .txt、.md、.pdf、.docx、.json；网页加载使用 JSDOM 与 Readability 提取正文，并可从站点地图批量抓取（示例限制前 100 条并设 1 秒速率限制）。预处理提供空白归一化、特殊字符清理、Unicode NFKC 归一化、多余换行合并。分块提供 RecursiveChunker（默认分隔符：段落、行、句、子句、词、字符）与 SemanticChunker（按句向量余弦相似度分组，阈值默认 0.8，最小 100、最大 2000 字符）。嵌入使用 OpenAI，默认模型 text-embedding-3-small，支持批大小与并发控制。流水线可 ingestFile、ingestDirectory、ingestUrl 并查询 topK。
使用方式：以 TypeScript 构建，安装依赖后导入模块，按示例配置 chunkSize、chunkOverlap、embeddingModel、namespace，调用 ingestDirectory、ingestUrl 与 query。示例默认 chunkSize 1000、chunkOverlap 200。
适用场景：知识库问答、文档检索、RAG 数据准备。
限制：需 OpenAI API 凭据；未提供具体安装命令、向量数据库实现细节、定价、性能基准与平台要求。