用途:为向量搜索、语义检索与 RAG 应用选择并优化嵌入模型,指导切分策略、领域微调、模型性能比较、嵌入维度压缩与多语言内容处理。
主要能力:提供嵌入模型对比表(如 text-embedding-3-large 3072 维、text-embedding-3-small 1536 维、voyage-2 1024 维、bge-large-en-v1.5 1024 维、all-MiniLM-L6-v2 384 维、multilingual-e5-large 1024 维,含最大 token 数与适用场景);给出嵌入流水线:文档→切分→预处理→嵌入模型→向量,其中切分涉及重叠与大小,预处理涉及清理与归一化,嵌入支持 API 或本地。
使用方式:模板覆盖 OpenAI 嵌入(含批处理、Matryoshka 维度压缩)、基于 Sentence Transformers 的本地嵌入(含 BGE 查询前缀、E5 的 query/passage 指令)、切分策略(按 token、按句子、按语义小节、递归字符切分)、领域专用嵌入流水线与代码嵌入流水线、嵌入质量评估(precision@k、recall@k、MRR、NDCG@k)和相似度计算(余弦、欧氏、点积)。原文包含完整代码示例,此处不逐段抄录。
适用场景:选择 RAG 嵌入模型、优化切分、领域嵌入微调、比较模型表现、降低嵌入维度、处理多语言内容。
限制:不适用于与嵌入策略无关的任务或本范围外的领域与工具;应避免忽略 token 上限、混用不同嵌入模型、跳过预处理与过度切分。官方未提供收费、价格或平台信息。