用途:该技能用于优化 RAG 场景下的文档分块,提升检索质量与回答效果。资料指出分块不当会导致上下文割裂、检索噪声、父子内容分离以及 token 浪费。
主要能力:对比多种分块方法,包括固定大小、递归、语义、父子、晚分块(Late Chunking)以及 Markdown/代码感知分块,并说明各自适用内容与实现复杂度。
使用方式:固定大小分块可用 RecursiveCharacterTextSplitter,设置 chunk_size 与 chunk_overlap;语义分块可用 SemanticChunker 或基于句向量余弦相似度自行分组;父子分块可用 HierarchicalNodeParser 与 AutoMergingRetriever;晚分块先对整篇文档做 token 级嵌入再切分并池化;Markdown 可用 MarkdownHeaderTextSplitter,代码可用 RecursiveCharacterTextSplitter.from_language。
尺寸建议:问答/FAQ 256-512、技术文档 512-1024、法律文档 1024-2048、代码 500-1000、对话 256-512,重叠通常为块大小的 10%-20%。
评估与限制:可用测试查询统计命中率、平均块大小与标准差来评估分块质量。资料未提供具体性能数据、收费信息或平台限制,实际效果需结合自身数据与检索模型验证。