用途:为 AI/ML 系统搭建数据基础设施,包括 RAG 管道、特征存储和嵌入生成,提供架构模式、编排工作流与生产评估指标。
主要能力:RAG 管道分 5 个阶段——摄取(PDF/DOCX/Markdown)、索引(分块+嵌入+存储)、检索(查询向量+向量搜索+过滤)、生成(上下文注入+LLM 流式输出)、评估(RAGAS 指标:忠实度、答案相关性、上下文精确率与召回率)。分块默认 512 tokens、重叠 50-100 tokens,也可用代码感知或语义分块。嵌入推荐 Voyage AI voyage-3(1024 维),开发可用 OpenAI text-embedding-3-small。特征存储推荐 Feast,支持 PostgreSQL、Redis、DynamoDB、S3、BigQuery、Snowflake 等后端,用于解决训练-服务偏差。编排推荐 Dagster(面向 ML/AI),另可选 Prefect、Airflow 3.0、dbt。数据版本管理推荐 LakeFS,支持类 Git 的 branch/commit/merge。
使用方式:可通过 scripts/setup_qdrant.py 初始化 Qdrant 集合,用 scripts/chunk_documents.py 分块,用 scripts/evaluate_rag.py 跑 RAGAS 评估;LangChain 提供基础 RAG 链与流式响应。依赖安装:pip install langchain langchain-core langchain-openai langchain-voyageai langchain-qdrant;矢量库 pip install qdrant-client;评估 pip install ragas datasets;特征存储 pip install feast;编排 pip install dagster dagster-webserver;版本管理 pip install lakefs-client。
适用场景:构建 RAG 管道、语义搜索或向量数据库、实时特征服务、嵌入生成管道、用 RAGAS 评估 RAG 质量、编排 AI 数据流,并与前端 ai-chat、search-filter 技能集成。
限制:传统 CRUD 应用、简单键值存储或无 AI/ML 组件的场景不适用;需注意避免混合嵌入模型,检索质量差时应调整分块与重排;成本、延迟与并发细节资料未完整给出。