用途:SuperBPE 用于训练和使用 SuperBPE 分词器,目标是在任意 LLM 项目中减少 token 数量(资料称可降低 20-33%),从而加快推理、降低按 token 计费的成本,并在相同上下文窗口内放入更多内容。资料称其为 2025 年提出的方法,基于选择性合并继承(继承约 70-90% 的 BPE 合并)、领域感知训练、频率优化与特殊 token 处理。
主要能力:提供 train_superbpe 训练分词器,可指定 corpus_path、output_path、vocab_size、num_inherit_merges 等参数;提供 compare_tokenizers 与标准分词器比较 token 减少比例;支持特殊 token、最小频率过滤、大语料抽样(max_corpus_size_mb、sampling_strategy);可训练通用、领域专用或多领域分词器。
使用方式:训练示例为 from unsloth.tokenizer import train_superbpe,然后调用 train_superbpe(corpus_path=..., output_path=..., vocab_size=50000, num_inherit_merges=40000)。之后可用 transformers 的 AutoTokenizer.from_pretrained("./tokenizers/my_tokenizer.json") 加载并编解码;与模型集成时需用 model.resize_token_embeddings(len(custom_tokenizer)) 调整嵌入。资料还给出与 OpenAI、Anthropic、HuggingFace Transformers、Unsloth 微调及 LangChain 文本切分的集成示例。
适用场景:通用文本、技术文档、医疗、法律、代码、科学、金融、对话及多领域内容的 token 压缩。资料按领域给出 token 减少比例示例(如医疗约 35%、代码约 33%)与按调用量估算的成本节省示例。
限制:资料以 2025 年方法为前提并给出性能数据,但表述为一般性宣称,未提供独立基准;分词器与模型词表变化后需重新调整嵌入并涉及重训;训练时间、显存、具体价格与 API 版本等未全部说明,暂未提供。