用途：分析 RAG 知识库并生成完整的问答评测数据集，用于评估检索增强生成系统的回答质量。
主要能力：先读取代码库定位知识库，包括文档文件（PDF、Markdown、文本）、数据库结构、向量存储配置与分块策略，理解知识库覆盖的主题、深度、术语与边界。随后生成多类问题：事实回忆（单段落可答）、多跳推理（需跨段落信息）、比较（概念对比）、边界情况（异常或冲突场景）以及负例（知识库未覆盖的主题，用于检验模型是否会说“不知道”而非幻觉）。每条问答对附带包含答案的相关文档分块，便于脱离完整 RAG 流程做平台实验、独立评估答案质量，或用同一上下文测试不同提示词。
使用方式：按步骤执行——分析知识库、生成多样化问题、为每行附上下文、导出格式、校验质量。数据行格式为 input、expected_output、context、question_type。导出可用 Python DataFrame： import pandas as pd df = pd.DataFrame(dataset) df.to_csv("rag_evaluation_dataset.csv", index=False) 也可导出含 input、expected_output、context、question_type 列的 CSV，直接导入 LangWatch 平台数据集。
适用场景：RAG 系统的评测集构建、提示词对比实验、检索与生成质量的分离评估。
限制与注意事项：必须先阅读实际知识库再生成问题；不可跳过负例；避免所有条目使用同一问题模式；每行必须包含相关上下文；预期输出必须真实存在于知识库中，不得编造。使用前应检查主题覆盖、答案是否在上下文中、问题多样性、负例的预期输出是否为“不知道”，并跑一次实验建立准确率基线。