用途
该技能用于加速大语言模型（LLM）的推理过程，核心手段是推测解码及其两类衍生技术：Medusa 多头解码与 Lookahead Decoding（前瞻解码）。按资料描述，适用目标包括：在不损失生成质量的前提下把推理速度提升约1.5–3.6倍；降低聊天机器人、代码生成等实时应用的延迟；优化高并发服务的吞吐；在有限硬件上更高效地部署；以及在不改动模型架构的情况下加快生成。
主要能力
技能覆盖三种技术路线，并对它们做了对比：
-
草稿模型推测解码（Draft Model Speculative）：用较小的草稿模型先投机生成K个候选token，再由目标大模型在一次前向传播中并行验证，接受与目标模型概率一致的token，遇到首个不一致即拒绝并从该处继续。资料称速度提升约1.5–2倍，数学上等价于目标模型、无质量损失，草稿模型最好比目标模型小5–10倍。
-
Medusa（多预测头）：在现有模型隐状态之上加装多个预测头，分别预测未来第1、2、3、4个token，无需独立草稿模型。Medusa-1冻结基座模型只训练预测头，约2.2倍加速；Medusa-2联合微调基座与预测头，约2.3–3.6倍加速。采用树状注意力在一次前向传播中评估整棵候选树，兼容任意LLM，训练量较小。
-
Lookahead Decoding（Jacobi迭代）：把自回归解码重构为方程组并行求解，分“前瞻分支”并行生成n-gram候选和“验证分支”校验候选，接受最长验证通过的n-gram。资料称速度提升约1.5–2.3倍，代码生成场景可达3.6倍，无需草稿模型、无需训练，开箱即用。
对比表中还列出朴素批处理（Naive Batching）约1.2–1.5倍加速、无需训练和草稿模型。三种主要方法均标注为无质量损失。
使用方式
技能给出了安装命令：标准推测解码安装 pip install transformers accelerate；Medusa 需克隆 https://github.com/FasterDecoding/Medusa 后 pip install -e .；Lookahead 需克隆 https://github.com/hao-ai-lab/LookaheadDecoding 后 pip install -e .；可选安装 pip install vllm 用于带推测解码的vLLM部署。
示例代码分别演示：在Transformers 4.36+中通过 assistant_model=draft_model 启用辅助生成；用 MedusaModel.from_pretrained 加载带Medusa头的模型并调用 medusa_generate（含 posterior_threshold、posterior_alpha 参数）；用 LookaheadDecoding 初始化（含 window_size、ngram_size、guess_size）并调用 generate。此外还提供了推测解码算法伪代码、Medusa预测头训练循环示例、Medusa作草稿模型的混合方案、草稿模型选择函数，以及vLLM中 speculative_model、num_speculative_tokens 等生产部署示例。
适用场景
资料列出的适用场景包括：实时应用（聊天机器人、代码生成）的低延迟需求、高并发服务的吞吐优化、有限硬件上的高效部署，以及希望不改模型架构即提速的场合。选型建议为：全新部署优先Medusa；已有小尺寸模型版本时用草稿模型推测解码；希望零训练零配置则用Lookahead。
限制与注意事项
资料说明草稿模型路线需要额外的小模型，且目标模型过小时不建议使用；Medusa需要少量训练（仅预测头），部分参数（如后验阈值、树深度）会影响速度与质量的平衡；Lookahead的窗口大小和n-gram大小需按模型规模调整（如7B用W=15、N=5，13B用W=10、N=5，33B+用W=7、N=5）。推测token数K越大，在草稿模型质量好时提速越多，否则接受率下降。资料未提供具体硬件配置、基准测试环境、许可协议或商业支持信息。