SuperAPI AI 工具集

ai-data-engineering-rag-pipeline

智能体与模型

查看项目

更新于 10-15 23:40

技能介绍

用途:帮助构建生产级本地 RAG 流水线,围绕检索契约设计、BM25 基线搜索引擎、分层分块与检索评估展开,来源为 Nahid Mahmud 的 AI 与数据工程路线图。

主要能力:Day 01 提供检索契约设计、受治理语料创建、金标准数据集(questions.jsonl)与评估框架;Day 02 提供带倒排索引与 Okapi BM25 排序的 BM25 基线搜索引擎,支持 Recall@10 评估;Day 03 提供分层分块 RAG 流水线(文档、章节、段落三级),使用确定性分块 ID、父子元数据关联,并支持失败模式分析。可通过 BM25 与向量检索(sentence-transformers + faiss-cpu)组合成混合检索,按 alpha 权重融合,并按分块粒度过滤,另有 Recall、Precision、MRR 评估与父子上下文检索、失败模式分析等模式。

使用方式:克隆仓库后按天进入目录安装依赖。

git clone https://github.com/Nahid-mahmud555/ai-data-engineering-roadmap.git cd ai-data-engineering-roadmap

cd Day_02 pip install -r requirements.txt

cd Day_03 pip install -r requirements.txt

常见依赖包括 numpy、rank-bm25、sentence-transformers、faiss-cpu。项目结构为 Day_01(检索契约与金标准数据集)、Day_02(BM25 基线,含 baseline_bm25.py、corpus/、questions.jsonl)、Day_03(分层分块 RAG 流水线,含 pipeline.py、corpus/、questions.jsonl)。

适用场景:需要本地、可评测的检索与 RAG 实验,比较不同分块粒度或 BM25 与向量检索融合效果时。

限制:资料未提供运行环境版本、硬件要求、性能数据、许可或收费信息;实际效果需以仓库与代码为准,暂未提供更多说明。