用途:构建检索增强生成(RAG)流水线,流程为文档→分块→嵌入→存入向量库→查询→检索→生成答案。
主要能力:提供固定大小带重叠分块与按段落语义分块的示例;用 OpenAI 嵌入接口生成单条或批量向量;用 Supabase(pgvector)建表、建索引并做相似度查询,或用 ChromaDB 本地存储与查询;检索策略包括基础相似度搜索、BM25 关键词与向量结合的混合搜索、先取 top-20 再用交叉编码器重排到 top-5,以及在嵌入前为分块前置文档级上下文的上下文检索;答案生成给出调用 Claude 的示例,系统提示要求仅依据所给上下文作答,无答案则说明。
使用方式:按资料中的命令与代码片段操作,例如用 curl 调用 OpenAI embeddings 接口、用 psql 执行建表与查询、用 Python 调用 chromadb 添加与查询文档、用 curl 调用 Anthropic messages 接口。
适用场景:需要为文档问答、知识库检索等构建 RAG 流程时参考。
限制与注意:分块大小影响效果,过小丢上下文、过大引入噪声,通常 300-800 tokens;重叠可避免关键信息被切断;嵌入模型选择影响质量,text-embedding-3-small 更经济、text-embedding-3-large 质量更高;应随分块保存来源元数据以便引用;建议先测试检索质量再搭建完整流水线,检索差则生成无法弥补。资料未提供具体收费、价格与平台支持范围。