用途：该技能提供使用 Unsloth 分词器工具进行对比、分析与集成的指导，帮助选择、验证和优化适合特定场景的分词器。
主要能力：compare_tokenizers 比较两个分词器对同一文本的 token 数及差异；analyze_tokenization 输出总 token、唯一 token 及分词明细；compare_multiple_tokenizers 批量比较并按效率排序；compare_on_corpus 在语料上做统计评估；estimate_tokens 估算 API 成本；还可计算 token 与字符比、词表覆盖率。
使用方式：从 unsloth.tokenizer 导入上述函数，传入文本与分词器名称（如 meta-llama/Llama-3.2-1B、gpt2）。与 Unsloth 模型集成时，用 FastLanguageModel.from_pretrained 加载模型，用 AutoTokenizer 加载自定义分词器，调用 model.resize_token_embeddings(len(custom_tokenizer)) 调整嵌入，再结合 get_peft_model 与 SFTTrainer 微调；官方提到 SuperBPE 训练见 superbpe 技能。
适用场景：为新项目挑选分词器、分析领域文本（如医疗、法律、技术）分词质量、预估 API 成本、验证自定义分词器是否更优、多分词器路由工作流。
限制：资料中的成本估算使用 gpt2 等近似分词器，不代表真实 API 计费；token 效率高不保证模型性能更好，需端到端测试；自定义分词器需检查文件路径与格式。具体定价、平台支持等信息暂未提供。