SuperAPI AI 工具集

tokenizers

通用与其它

查看项目

更新于 11-17 16:28

技能介绍

概述

分词器把文本转换为模型实际处理的整数序列。它平时不可见,直到引发问题:意外的成本、错误的分块、被破坏的输入。理解分词器可以把这些困惑还原为可解释的机制。

现代分词器从数据中学习子词词表(BPE 合并高频对;WordPiece 与 Unigram 各有策略),再把文本切分为这些片段。关键结论:token 数不等于词数(随语言与内容变化,代码和非英文文本分词效率更低);特殊 token 标记边界与角色;反分词不总是精确的逆过程。每个模型都有自己的分词器——用错会静默破坏输入。

何时使用

  • 估算成本:token 是计费单位,应使用正确的分词器计数。
  • 调试“模型看到的内容不同”:编码问题、截断意外。
  • 为 RAG 设计分块:按 token 而非字符分块。
  • 处理结构化格式:JSON、代码和特殊 token 需要谨慎。

核心概念

  • 子词算法:BPE(合并高频对)、WordPiece(基于似然的合并)、Unigram(概率剪枝)。各有取舍,关键是明确你的模型使用哪一种。
  • 词表:学习得到的片段清单,通常为 30k–200k 条目。更大的词表分词更高效(每段文本产生更少 token),但需要更大的嵌入表。
  • 特殊 token:BOS/EOS 标记、填充、分隔符以及聊天模板 token(如 <|user|>)。聊天模板属于分词器层面,应通过分词器应用而非手工拼写。
  • 多语言 fertility:每词 token 数在不同语言与领域差异极大。英文散文约 1.3;代码更高;部分语言可达 2–3 倍。应据此为多语言上下文做预算。
  • 编码/解码往返:解码并不总是精确(空白处理、字节回退)。对需要重建文本的流水线应测试往返。
  • 预分词:BPE 之前如何切分文本(空白、标点规则)。这解释了许多“为什么在这里切开”的疑问。

实用流程

  1. 确认模型实际使用的分词器——不要假设,应从模型自身的产物中加载。
  2. 估算成本:用该分词器对代表性输入分词,而不是通用计数器。
  3. 分块:按该分词器的 token 边界分块,并计入聊天模板添加的特殊 token。
  4. 调试输入:解码模型实际收到的内容,与预期对比。
  5. 通过分词器自带的模板支持应用聊天模板;核对渲染格式与文档一致。
  6. 多语言工作:按语言测量 fertility,并按语言调整上下文预算。

分词器调试清单:

  • [ ] 使用模型自带的分词器(而非通用分词器)
  • [ ] 通过分词器应用聊天模板,并验证输出
  • [ ] 在真实输入上按语言测量 token 数
  • [ ] 预算中计入特殊 token
  • [ ] 对重建类流水线测试往返

常见陷阱

  • 用错分词器:用与模型不同的分词器计数或分块,会在各处静默出错。
  • 手写聊天模板:手工拼接 <|user|> 块,容易在细节上出错。应使用分词器的模板。
  • 按字符分块:为 RAG 在 token 或词中间切分。应按 token 分块并设置重叠。
  • 忽视 fertility:给多语言内容套用英文的 token 预算。应按语言分别测量。
  • 截断意外:分词器在达到上限时可能静默截断。检查长度,并用正确策略(头部、尾部或中间)刻意截断。
  • 字节回退盲区:罕见字符变成多 token 字节序列,影响成本,有时也影响不常见文字的质量。