用途:构建可处理图像、文本与混合内容的检索增强生成(RAG)系统,覆盖图文检索、跨模态搜索、多模态文档处理、视觉问答、图像相似度与去重、混合检索流水线。
主要能力:提供三类架构思路——联合嵌入(CLIP,直接比较但上下文有限)、基于描述(兼容文本 LLM 但有损)、混合方案(精度最佳但更复杂)。嵌入模型包括 Voyage multimodal-3(32K token,适合长文档)、SigLIP 2(适合大规模检索)、CLIP ViT-L/14(通用)、ImageBind(6 种模态)、ColPali(PDF/文档 RAG)。
使用方式:用 transformers 加载 CLIP 生成图像与文本嵌入并归一化,通过余弦相似度做文本到图像的跨模态搜索;用 voyageai 客户端调用 voyage-multimodal-3 嵌入文本与图片;构建 MultimodalRAG 类,索引时同时存文本、图像与图像描述嵌入,检索时按 doc_id 去重并保留最高分;用 PyMuPDF 与 pdf2image 对 PDF 分块,保留图像、表格与图表;用 Milvus 建集合,字段含 id、embedding、doc_id、chunk_type、content、image_url、page,索引用 COSINE + HNSW;生成阶段把检索到的图像以 base64 放在前部,再拼接文本上下文。
限制:Claude Code 读取 PDF 单次最多 20 页、文件最大 20MB,大文档需分批处理;CLIP 文本上下文仅 77 token;常见错误包括只嵌入图像不加描述、未按文档 ID 去重、未存图像 URL、只用单一模态嵌入、忽略分块边界、未验证图像检索质量。具体收费与价格暂未提供。