用途:为 RAG 流水线提供生产可用的文档分块实现、基准测试工具和策略选择指导。
主要能力:包含固定大小分块、语义分块、递归分块与基于句子的策略;提供基准测试脚本比较处理时间、分块数量、大小方差、上下文保留与检索质量;支持 Markdown、源代码与 PDF 等文档类型。
主要资源与用法:scripts/chunk-fixed-size.py 支持 --chunk-size、--overlap、--split-on 参数;scripts/chunk-semantic.py 使用 --max-chunk-size;scripts/chunk-recursive.py 需 --separators;scripts/benchmark-chunking.py 可指定 --strategies 与 --chunk-sizes。examples 下含 chunk-markdown.py、chunk-code.py、chunk-pdf.py。配置模板 templates/chunking-config.yaml 定义各策略与文档类型映射;templates/custom-splitter.py 提供自定义分块模板。依赖包括 tiktoken、nltk、spacy(可选)、pypdf、pdfminer.six,基准测试需 pandas、numpy、scikit-learn。
适用场景:为 RAG 实现或优化文档分块,比较不同策略,处理多种文档类型并评估检索质量。
限制:资料未提供各脚本的完整源码、性能数据、许可证或维护状态;示例输出与参数仅为资料所述,实际效果需自行测试。