doc-to-vector-dataset-generator
Doc-to-Vector Dataset Generator 是一个将文档转换为适合嵌入与向量检索的干净、分块数据集的技能。它从 PDF、DOCX、HTML、Markdown 等格式提取文本,经过清洗、语义分块、元数据标注、近重复去重和质量校验后,导出为每行一个分块的 JSONL 文件。该技能提供完整的 Python 代码示例,涵盖文本提取、清洗、语义分块、元数据提取、基于 TF-IDF 与余弦相似度的去重、质量检查以及 JSONL 导出,并给出最佳实践与输出检查清单。