TurboRAG 是 MooreThreads 在 GitHub 上发布的开源项目，包含论文《TurboRAG: Accelerating Retrieval-Augmented Generation with Precomputed KV Caches for Chunked Text》的实现代码与演示效果。
用途 该项目面向检索增强生成（RAG）场景，目标是通过为分块文本预先计算 KV 缓存来加速 RAG，并用于测试 TurboRAG 相对于传统 RAG 在首 token 时间（time-to-first-token，TTFT）上的表现。
主要能力 仓库提供实现代码和演示，可对比两种方法（TurboRAG 与传统 RAG）的 TTFT。项目自带部分文档和查询示例，分别位于 documents 与 questions 目录，可按需替换为用户自己的数据。测试过程中使用 LlamaIndex，以管理与查询索引文档。
使用方式 仓库说明的测试步骤分为两步：
- 准备分块缓存：运行 chunk_cache.py。该脚本会将 documents 目录中的文档自动切分为长度 512 token 的块，每块的 KV 缓存存入 chunk_kvcache 目录。
- 对比 TTFT：运行 turbo_rag.py，比较两种方法的 TTFT。 注意：在测试中使用了 LlamaIndex，需在环境搭建时安装。
结果概要 据其提供的测试结果，在使用 10 篇文档测试时，采用 KV 缓存可将平均 TTFT 从约 4.13 秒降低至约 0.65 秒；并且随着文档数量增加，加速效果更加明显。
适用场景 适合需要评估或研究 RAG 推理加速、TTFT 优化、预计算 KV 缓存方案的开发者与研究人员，可用于本地复现对比实验。
限制 当前资料仅说明该项目用于测试 TurboRAG 与传统 RAG 的 TTFT，并给出上述运行步骤和示例结果；未提供更详细的功能说明、生产级部署方案、收费与授权信息。若使用其代码或数据，仓库提示需引用论文。
