用途:为 RAG 与非结构化数据场景生成逼真的合成 PDF 文档,可用于测试 PDF、演示文档或检索评测数据集。
主要能力:调用 generate_pdf_documents MCP 工具,依据描述由 LLM 生成专业 PDF;每份文档同时生成一个 JSON 文件,含 title、category、pdf_path、question、guideline,便于 RAG 评测;结果自动上传到 Unity Catalog Volumes。
使用方式:调用 generate_pdf_documents,必填参数为 catalog、schema、description、count;可选 volume(默认 raw_data)、folder(默认 pdf_documents)、doc_size(SMALL 约1页、MEDIUM 约5页、LARGE 约10页以上,默认 MEDIUM)、overwrite_folder(默认 false)。默认输出路径为 /Volumes/<catalog>/<schema>/raw_data/pdf_documents/。
适用场景:HR 政策、技术文档、财务报告、培训材料等合成文档;演示建议 5-10 份,RAG 测试 15-30 份,全面评测 50 份以上。评测时可将 PDF 作为向量库源文档,用 question 查询 RAG 系统,用 guideline 判断回答是否正确。
限制与配置:需通过环境变量配置 LLM,默认 Databricks Foundation Models(LLM_PROVIDER=DATABRICKS,DATABRICKS_MODEL=databricks-meta-llama-3-3-70b-instruct),或 Azure OpenAI(LLM_PROVIDER=AZURE 及 AZURE_OPENAI_ENDPOINT、AZURE_OPENAI_API_KEY、AZURE_OPENAI_DEPLOYMENT)。常见问题包括未配置 LLM 端点、缺少 CREATE VOLUME 权限、生成超时(可减少 count)以及描述过简导致内容质量低。