用途
知识蒸馏用于压缩大型语言模型:将大型教师模型(teacher)的知识迁移到小型学生模型(student),从而在部署时使用更小的模型并尽量保留性能。资料列出的典型使用场景包括:
- 将模型从 70B 压缩到 7B,同时保留 90%+ 的性能;
- 将专有模型(如 GPT-4)的能力迁移到开源模型(LLaMA、Mistral);
- 通过部署更小的学生模型降低推理成本;
- 通过蒸馏领域特定知识创建专用模型;
- 使用大型教师模型生成的合成数据改进小模型。
主要能力与核心技术
资料列出的关键技术包括:温度缩放(Temperature scaling)、软目标(soft targets)、反向 KLD(MiniLLM)、logit 蒸馏、响应蒸馏。
引用的论文包括:Hinton et al. 2015(arXiv 1503.02531)、MiniLLM(arXiv 2306.08543)、KD Survey(arXiv 2402.13116)。
核心概念:
- 温度缩放:通过温度 T 软化概率分布,暴露教师模型的不确定性。资料建议蒸馏时使用 T=2-5,2 为常见默认值。
- 损失函数组成:总损失 = alpha × 软损失 + (1 - alpha) × 硬损失。软损失为 KL(student || teacher),硬损失为交叉熵。典型 alpha 取值:0.5(平衡)、0.7(更强调教师)、0.3(更强调标签)。
- 前向与反向 KLD:前向 KL 为 KL(Student || Teacher),学生匹配教师平均行为,模式寻求,适合分类;反向 KL 为 KL(Teacher || Student),学生覆盖教师全部行为,模式覆盖,适合生成(MiniLLM)。
使用方式
安装命令:
# Standard transformers
pip install transformers datasets accelerate
# For training
pip install torch deepspeed wandb
# Optional: MiniLLM implementation
git clone https://github.com/microsoft/LMOps
cd LMOps/minillm
pip install -e .
资料提供了三类代码示例:
- 基础知识蒸馏:加载教师与学生模型,定义 distillation_loss(结合硬损失交叉熵与软损失 KL 散度),在训练循环中教师前向不计算梯度、学生前向计算 logits,再反向优化。
- MiniLLM(反向 KLD):定义 reverse_kl_loss,使用 KL(Teacher || Student),资料说明其更适合生成任务,因为学生能覆盖教师的所有模式,利于多样化文本生成。
- 响应蒸馏:先用教师模型对提示生成合成响应,再用这些响应以标准微调方式训练学生模型。
训练策略包括:
- Logit 蒸馏:直接让学生匹配教师 logits,可用 MSE 或 KLD。
- 两阶段蒸馏:先蒸馏,再在任务特定数据上微调。
- 多教师蒸馏:从多个专家教师取 logits 并平均,学生从集成中学习。
生产部署部分给出了完整的训练脚本,包含自定义 DistillationTrainer(重写 compute_loss)、TrainingArguments 配置(如 num_train_epochs=3、per_device_train_batch_size=4、gradient_accumulation_steps=8、learning_rate=2e-5、bf16=True、gradient_checkpointing=True 等),以及保存模型与分词器的方式。
适用场景
- 需要以更小模型部署并尽量保留性能;
- 将闭源/专有模型能力迁移到开源模型;
- 降低推理成本;
- 构建领域专用小模型;
- 利用大教师模型合成数据提升小模型。
最佳实践(资料给出)
- 超参数:T=1.0(锐利,知识迁移较少)、T=2.0(标准,平衡)、T=5.0(软化,知识迁移更多);alpha=0.5(平衡)、0.7(强调教师)、0.9(强蒸馏)。规则:更高的 T 加更高的 alpha 等于更强的蒸馏。
- 模型尺寸比例:70B/7B=10×(优秀)、13B/1B=13×(良好)、7B/1B=7×(可接受);避免 70B/1B=70×(差距过大,效果不佳)。
- 数据质量:最佳为教师生成数据 + 真实数据,例如教师生成 70%、真实数据 30%;避免只用真实数据。
评估
资料给出使用 transformers 的 pipeline 对比教师与学生输出的示例,并提到计算相似度(calculate_similarity)来评估匹配质量。
限制与注意事项
资料中的“Agent operating procedure”与“Integrity rules”部分要求:确认 GPU 显存、模型检查点与许可证、框架版本与输入格式;先在小样本上运行;验证结果并检查许可证限制;报告运行内容与不确定项。遇到显存不足可降低分辨率或序列长度、使用半精度或分块。若安装版本中缺少某函数、标志或端点,应查阅该版本自身文档并告知用户,不得虚构 API。不得编造结果、参数、标识符、引用或统计数据;商业或公开发布前需检查模型与数据集许可证;涉及花钱、占用共享 GPU 或云配额、接触个人或患者数据、不可撤销的操作前应先询问。
相关技能
- speculative-decoding:使用推测解码、Medusa 多头与前瞻解码加速 LLM 推理。
- model-merging:使用 mergekit 合并多个微调模型以组合能力而无需重新训练。
暂未提供的信息
资料未提供该技能的具体收费、价格、平台支持范围、性能基准数字或效果保证,这些内容暂未提供。