huggingface-tokenizers
HuggingFace Tokenizers 是面向研究与生产环境的快速分词库,采用 Rust 核心实现并提供 Python/Node.js 绑定。官方资料显示其可在 20 秒内完成 1GB 文本的分词,比纯 Python 实现快 10–100 倍;支持 BPE、WordPiece、Unigram 三种分词算法,可用于加载预训练分词器、从零训练自定义分词器、批量编码与填充、对齐位置追踪,以及与 transformers 的 AutoTokenizer / PreTrainedTokenizerFast 集成。安装方式为 pip install tokenizers 或 pip install tokenizers transformers。