本技能是预训练数据整理的参考指南，旨在帮助构建网络规模及合成的预训练语料库，并通过受控消融实验测量数据整理选择带来的影响。
主要能力与覆盖范围 该技能覆盖预训练语料侧的全流程：从原始爬取数据到分词分片，再到消融测量。具体涉及以下任务时激活：寻找现有高质量数据集、处理 CommonCrawl WARC 或其他网络级语料、实现或调试整理流程各阶段、设计质量过滤器（启发式或分类器）、运行 MinHash/LSH 或精确子串去重、针对评估基准去污染、生成合成预训练数据（Cosmopedia、Self-Instruct、Evol-Instruct、Nemotron）、设计并执行受控数据消融、撰写数据表，以及理解开放配方数据集（FineWeb、Dolma、The Pile、RedPajama、SlimPajama、C4、RefinedWeb、OLMo）。
整理流程各阶段与工具 抽取阶段使用 datatrove WarcReader 与 Trafilatura，抽取器选择决定下游噪声上限；语言识别使用 fastText lid.176.bin（英语）或 GlotLID（多语言）；启发式质量过滤采用 Gopher 规则与 C4 规则；分类器质量过滤使用 FineWeb-Edu edu-score，DCLM 对比显示单一模型分类器优于启发式规则堆栈；近去重使用 MinHash + LSH（datasketch、datatrove），FineWeb 使用 5-gram shingle 与 14 bands × 8 rows；精确去重使用后缀数组子串方法；语义去重使用 SemDeDup；去污染通过 n-gram 重叠与评估集比对，n 的选择依据基准项长度与分词器；PII/安全使用正则加分类器级联；分词与分片使用模型分词器及 Parquet 或训练格式写入器；领域混合使用 dolma 工具包及 DoReMi/RegMix 确定权重。
前沿配方与方法 资料中列举了若干值得参考的配方：DataComp-LM（DCLM）提供了首个数据整理受控基准；Nemotron-CC 通过分类器集成与合成改写恢复可用 token；WRAP 通过网页改写而非仅过滤提升质量；FineWeb-2 将流程扩展至 1000+ 语言；Common Pile v0.1、Common Corpus 提供开放许可语料；Blu-WERP 报告了相对改进。数据混合方法包括 DoReMi、Data Mixing Laws 和 RegMix，均用于以原则性方法设定领域混合权重，但仍需通过留出消融验证所选混合。
默认工作流 定义语料目标（目标语言、领域分布、token 预算、训练算力预算）→ 抽取 → 语言过滤 → 启发式过滤 → 分类器过滤 → 去重 → 去污染 → PII/安全清洗 → 分词并分片 → 混合与消融 → 撰写数据表。
数据消融表 在固定算力下运行小型代理模型，每次运行只改变一个变量，用相同基准套件与相同测试框架、提示格式进行评估。FineWeb 的过滤消融使用 1.71B 参数模型、约 28B token、每个变体两个种子/数据子集。
已知陷阱 包括污染、合成数据导致的模型坍塌、多样性坍塌、生成器污染、蒸馏许可限制、单变更消融纪律、EU AI Act 训练数据透明度要求、去重范围选择等。
使用限制与边界 本技能仅覆盖预训练语料侧。预训练运行设置、分布式训练、检查点保存应使用 ai-pretraining；token 预算与 Chinchilla 缩放定律应使用 ai-scaling-laws；基准测试框架与指标解读应使用 ai-evals；推理时检索、分块、重排应使用 ai-rag（RAG 不是预训练数据整理，不要将语料混合与检索索引混为一谈）；平台级存储、摄取、工作流编排应使用 data-lake-platform。