用途:为向量搜索应用选择并优化嵌入模型,适用于 RAG 场景下的模型选型、分块策略优化、领域微调、模型性能对比、维度压缩与多语言内容处理。
主要能力:提供 2026 年嵌入模型对比表,含维度、最大 token 数与适用场景。例如 voyage-3-large(1024 维、32000 token,适合 Claude 应用,Anthropic 推荐)、voyage-3(1024 维、32000 token,成本较低)、voyage-code-3(代码搜索)、voyage-finance-2(金融文档)、voyage-law-2(法律文档)、text-embedding-3-large(3072 维、8191 token,OpenAI 高精度)、text-embedding-3-small(1536 维、8191 token,成本较低)、bge-large-en-v1.5(1024 维、512 token,开源本地部署)、all-MiniLM-L6-v2(384 维、256 token,快速轻量)、multilingual-e5-large(1024 维、512 token,多语言)。
使用方式:嵌入流水线为 文档 → 分块 → 预处理 → 嵌入模型 → 向量,其中分块涉及重叠与大小,预处理涉及清洗与归一化,嵌入可走 API 或本地。完整模板库与详细示例位于 references/details.md,需要具体模板时读取该文件。
最佳实践:模型与用例匹配(代码、散文、多语言);按语义边界分块;为余弦相似度搜索归一化嵌入;批量请求;缓存静态内容嵌入;Claude 应用使用 Voyage AI。避免:忽略 token 上限导致截断丢信息;混用不同嵌入模型造成向量空间不兼容;跳过预处理;过度分块丢失上下文;遗漏元数据影响过滤与调试。
限制:资料未提供具体安装命令、代码示例、收费与价格信息,也未说明各模型的实际效果评测数据。