用途:为 AI/ML 系统搭建数据基础设施,涵盖 RAG 管道、语义搜索/向量数据库、实时特征存储、嵌入生成,以及用 RAGAS 评估 RAG 质量。不适用于传统 CRUD 应用、简单键值存储或无 AI/ML 组件的项目。
主要能力:RAG 管道分五阶段——摄取、索引(512 tokens 分块 + 嵌入 + 存储)、检索(查询嵌入 + 向量搜索 + 过滤)、生成(上下文注入 + LLM 流式)、评估(RAGAS)。分块建议默认 512 tokens、重叠 50–100,并支持代码感知与语义分块。嵌入首选 Voyage AI voyage-3(1024 维),成本敏感场景可用 OpenAI text-embedding-3-small。RAGAS 四项指标:faithfulness、answer relevancy、context precision、context recall。特征存储推荐 Feast;编排推荐 Dagster;数据版本控制推荐 LakeFS。可与前端 ai-chat、search-filter 技能集成。
使用方式:按依赖安装包,例如 pip install langchain langchain-core langchain-openai langchain-voyageai langchain-qdrant、pip install qdrant-client、pip install ragas datasets、pip install feast、pip install dagster dagster-webserver、pip install lakefs-client。可运行脚本:python scripts/setup_qdrant.py --collection docs --dimension 1024;python scripts/chunk_documents.py --input data/documents/ --chunk-size 512 --overlap 50 --output data/chunks/;python scripts/evaluate_rag.py --dataset eval_data.json --output results.json。
限制:资料未提供价格之外的收费细节与平台要求,相关具体数值(如成本、性能)以原文标注为准;更换嵌入模型需重新嵌入全部数据。