SuperAPI AI 工具集

embedding-strategies

智能体与模型

查看项目

更新于 10-16 00:30

技能介绍

用途:为向量检索与 RAG 应用选择并优化嵌入模型,适用于挑选嵌入模型、实现分块策略、领域微调、模型性能对比、降低嵌入维度以及处理多语言内容。

主要能力:提供 2026 年嵌入模型对比表,含 voyage-3-large、voyage-3、voyage-code-3、voyage-finance-2、voyage-law-2、text-embedding-3-large、text-embedding-3-small、bge-large-en-v1.5、all-MiniLM-L6-v2、multilingual-e5-large 的维度、最大 token 与适用场景;给出嵌入流水线(文档→分块→预处理→嵌入模型→向量);提供 Voyage AI、OpenAI、本地 Sentence Transformers 的调用模板;覆盖按 token、句子、语义章节及递归字符的分块策略;含领域专用流水线与代码嵌入流水线;并提供检索质量评估指标(precision@k、recall@k、MRR、nDCG@k)与相似度计算。

使用方式:按模板初始化对应嵌入类,如 VoyageAIEmbeddings(model="voyage-3-large")、OpenAI 的 client.embeddings.create、SentenceTransformer 的 encode;查询与文档需按模型要求加前缀(如 BGE 查询前缀、E5 的 query:/passage:);OpenAI 支持 dimensions 参数做 Matryoshka 降维;分块可调用 chunk_by_tokens、chunk_by_sentences、chunk_by_semantic_sections、recursive_character_splitter。

适用场景:RAG 检索、语义搜索、代码搜索、金融与法律文档检索、多语言内容、本地部署与成本敏感场景。

限制:资料未提供各模型的具体收费与价格、性能基准数值、平台可用性及完整安装命令;部分模板依赖 langchain_voyageai、openai、sentence_transformers、tiktoken、nltk、tree_sitter_languages 等库,需自行安装;代码分块依赖 tree-sitter,缺失时回退为整段处理。