用途：HuggingFace Tokenizers 用于快速文本分词与自定义词表训练，适合需要高速处理大规模语料、从零训练分词器或构建生产级 NLP 流水线的场景。官方称在 CPU 上分词 1GB 文本少于 20 秒，比纯 Python 实现快 10-100 倍。
主要能力：支持 BPE、WordPiece、Unigram 三种算法；提供完整流水线：归一化、预分词、模型、后处理；支持对齐追踪（token 到原文位置）、批量编码、填充与截断、多进程处理；可从 HuggingFace Hub 加载预训练分词器，也可训练自定义分词器并保存为 JSON。
使用方式：安装 pip install tokenizers，如需与 transformers 集成可 pip install tokenizers transformers。加载预训练示例：Tokenizer.from_pretrained("bert-base-uncased")；训练自定义 BPE 需初始化 Tokenizer(BPE(unk_token="[UNK]"))、设置 pre_tokenizer、配置 BpeTrainer 后调用 tokenizer.train(files, trainer) 并 save。可通过 PreTrainedTokenizerFast 包装后用于 transformers。
适用场景：大规模语料分词、自定义词表训练、命名实体识别与问答等需要位置对齐的任务、与 transformers 配合的生产流程。
限制：资料未提供收费、价格与平台支持信息；Unigram 训练计算开销较大、超参数较多；WordPiece 对无子词匹配的未知词会输出 [UNK]；BPE 分词结果依赖合并顺序。替代方案包括 SentencePiece、tiktoken 与 transformers AutoTokenizer。