用途：NeMo Curator 是 NVIDIA 的数据整理工具包，用于为 LLM 准备高质量训练数据，适用于从网页抓取（如 Common Crawl）构建训练集、快速去重、多模态数据集整理、过滤低质或有毒内容，以及在 GPU 集群上扩展数据处理。
主要能力：提供 30 多种启发式质量过滤器（词数、重复行、URL 比例、非字母数字比例等）；支持精确去重、基于 MinHash+LSH 的模糊去重和基于嵌入的语义去重；支持 PII 脱敏（邮箱、电话、人名、地点等）；支持质量分类器过滤；多模态方面支持图像（美学评分、NSFW 检测、CLIP 嵌入）、视频（场景检测、片段提取、InternVideo2 嵌入）和音频（ASR 转写、WER 过滤、时长过滤）。官方称模糊去重比 CPU 快 16 倍，成本更低，并可在 GPU 节点间近线性扩展。
使用方式：1.x 版本基于 Ray 的 pipeline/stage 架构重写，需将 ProcessingStage 组合为 Pipeline 并用执行器运行；0.x 的 DocumentDataset 与 modules API 已移除。安装使用 uv，例如 uv pip install "nemo-curator[text-cuda12]"，全模态用 [all]，纯 CPU 用 [text-cpu]。输入支持 Parquet、JSONL、CSV，输出推荐 Parquet，多模态可用 WebDataset TAR。
限制：0.x 示例仅为概念示意，实际 1.x API 需参考官方 quickstart 与各模态指南；性能与成本数据来自官方基准，实际效果依环境而定。版本 1.2.0，Apache 2.0 许可。