概述
分词器把文本转换为模型实际处理的整数序列。它平时不可见,直到引发问题:意外的成本、错误的分块、被破坏的输入。理解分词器可以把这些困惑还原为可解释的机制。
现代分词器从数据中学习子词词表(BPE 合并高频对;WordPiece 与 Unigram 各有策略),再把文本切分为这些片段。关键结论:token 数不等于词数(随语言与内容变化,代码和非英文文本分词效率更低);特殊 token 标记边界与角色;反分词不总是精确的逆过程。每个模型都有自己的分词器——用错会静默破坏输入。
何时使用
- 估算成本:token 是计费单位,应使用正确的分词器计数。
- 调试“模型看到的内容不同”:编码问题、截断意外。
- 为 RAG 设计分块:按 token 而非字符分块。
- 处理结构化格式:JSON、代码和特殊 token 需要谨慎。
核心概念
- 子词算法:BPE(合并高频对)、WordPiece(基于似然的合并)、Unigram(概率剪枝)。各有取舍,关键是明确你的模型使用哪一种。
- 词表:学习得到的片段清单,通常为 30k–200k 条目。更大的词表分词更高效(每段文本产生更少 token),但需要更大的嵌入表。
- 特殊 token:BOS/EOS 标记、填充、分隔符以及聊天模板 token(如 <|user|>)。聊天模板属于分词器层面,应通过分词器应用而非手工拼写。
- 多语言 fertility:每词 token 数在不同语言与领域差异极大。英文散文约 1.3;代码更高;部分语言可达 2–3 倍。应据此为多语言上下文做预算。
- 编码/解码往返:解码并不总是精确(空白处理、字节回退)。对需要重建文本的流水线应测试往返。
- 预分词:BPE 之前如何切分文本(空白、标点规则)。这解释了许多“为什么在这里切开”的疑问。
实用流程
- 确认模型实际使用的分词器——不要假设,应从模型自身的产物中加载。
- 估算成本:用该分词器对代表性输入分词,而不是通用计数器。
- 分块:按该分词器的 token 边界分块,并计入聊天模板添加的特殊 token。
- 调试输入:解码模型实际收到的内容,与预期对比。
- 通过分词器自带的模板支持应用聊天模板;核对渲染格式与文档一致。
- 多语言工作:按语言测量 fertility,并按语言调整上下文预算。
分词器调试清单:
- [ ] 使用模型自带的分词器(而非通用分词器)
- [ ] 通过分词器应用聊天模板,并验证输出
- [ ] 在真实输入上按语言测量 token 数
- [ ] 预算中计入特殊 token
- [ ] 对重建类流水线测试往返
常见陷阱
- 用错分词器:用与模型不同的分词器计数或分块,会在各处静默出错。
- 手写聊天模板:手工拼接 <|user|> 块,容易在细节上出错。应使用分词器的模板。
- 按字符分块:为 RAG 在 token 或词中间切分。应按 token 分块并设置重叠。
- 忽视 fertility:给多语言内容套用英文的 token 预算。应按语言分别测量。
- 截断意外:分词器在达到上限时可能静默截断。检查长度,并用正确策略(头部、尾部或中间)刻意截断。
- 字节回退盲区:罕见字符变成多 token 字节序列,影响成本,有时也影响不常见文字的质量。