NeMo Curator 是 NVIDIA 提供的 GPU 加速数据整理工具包,用于为 LLM 训练准备高质量数据。
一、用途 当需要从网页抓取数据(如 Common Crawl)准备 LLM 训练数据、需要快速去重(比 CPU 快 16 倍)、整理多模态数据集(文本、图像、视频、音频)、过滤低质量或有毒内容、跨 GPU 集群扩展数据处理时,可使用 NeMo Curator。官方也给出了替代方案:datatrove(基于 CPU 的开源数据处理)、dolma(Allen AI 的数据工具包)、Ray Data(通用 ML 数据处理,不专注数据整理)。
二、主要能力
- 质量过滤:提供 30+ 启发式过滤器,如 WordCountFilter、RepeatedLinesFilter、UrlRatioFilter、NonAlphaNumericFilter 等。
- 去重:支持精确去重(ExactDuplicates)、模糊去重(FuzzyDuplicates,基于 MinHash + LSH,GPU 上快 16 倍)、语义去重(SemanticDuplicates,基于嵌入与余弦相似度阈值)。
- PII 脱敏:PIIRedactor 支持 EMAIL_ADDRESS、PHONE_NUMBER、PERSON、LOCATION 等实体,可 replace 或 redact。
- 分类器过滤:如 QualityClassifier(model_path="nvidia/quality-classifier-deberta")。
- 多模态整理:图像(AestheticFilter、NSFWFilter、CLIPEmbedder)、视频(SceneDetector、ClipExtractor、InternVideo2Embedder)、音频(ASRInference、WERFilter、DurationFilter)。
- 分布式处理:通过 get_client 与 dask_cuda 的 LocalCUDACluster 实现多 GPU 集群处理。
三、使用方式 安装:
文本整理(CUDA 12)
uv pip install "nemo-curator[text_cuda12]"
全部模态
uv pip install "nemo-curator[all_cuda12]"
仅 CPU(较慢)
uv pip install "nemo-curator[cpu]"
基本文本整理流程示例: from nemo_curator import ScoreFilter, Modify from nemo_curator.datasets import DocumentDataset import pandas as pd
df = pd.DataFrame({"text": ["Good document", "Bad doc", "Excellent text"]}) dataset = DocumentDataset(df)
def quality_score(doc): return len(doc["text"].split()) > 5
filtered = ScoreFilter(quality_score)(dataset)
from nemo_curator.modules import ExactDuplicates deduped = ExactDuplicates()(filtered) deduped.to_parquet("curated_data/")
典型流水线分为:质量过滤、去重(精确/模糊/语义)、PII 脱敏、分类器过滤。官方还给出 Common Crawl 整理、分布式处理等常见模式示例。
四、性能与成本(官方基准) 模糊去重(8TB RedPajama v2):CPU 256 核 120 小时,GPU 8×A100 7.5 小时,加速 16 倍。 精确去重(1TB):CPU 64 核 8 小时,GPU 4×A100 0.5 小时,加速 16 倍。 质量过滤(100GB):CPU 32 核 2 小时,GPU 2×A100 0.2 小时,加速 10 倍。 成本对比:CPU 方案(AWS c5.18xlarge × 10)8TB 总成本约 $4,320;GPU 方案(AWS p4d.24xlarge × 2)约 $491.55,节省约 89%。
五、适用场景与限制 适用:生产部署(NVIDIA 用其准备 Nemotron-4 训练数据)、开源数据集整理(RedPajama v2、The Pile)。 支持格式:输入 Parquet、JSONL、CSV;输出 Parquet(推荐)、JSONL;多模态可用 WebDataset(TAR 归档)。 限制与注意事项:需确认 GPU 显存、模型检查点与许可、框架版本与输入格式;建议先在小样本上低分辨率或短长度试跑;大输入可能显存不足,可降低分辨率或序列长度、使用半精度或分块;版本相关细节可能过时,应以已安装版本的官方文档为准;商业或发布用途前需检查模型与数据集许可;涉及费用、共享 GPU、云配额、个人或患者数据、不可撤销操作前应先询问。
六、参考 GitHub:https://github.com/NVIDIA/NeMo-Curator(⭐ 500+) 文档:https://docs.nvidia.com/nemo-framework/user-guide/latest/datacuration/ 版本:0.4.0+;许可:Apache 2.0。 相关技能:nemo-guardrails、modal、exa-search。