SuperAPI AI 工具集

Skill 广场

找到适合任务的 Agent Skill,阅读介绍并复制安装命令。

更新于 10-28 00:17

智能体与模型

24,968 个结果

speculative-decoding

Speculative Decoding 是一个用于加速大语言模型(LLM)推理的技能,涵盖三种主要技术:草稿模型投机解码、Medusa 多头解码和 Lookahead 前瞻解码。该技能适用于需要将推理速度提升 1.5-3.6 倍且不损失质量的场景,例如降低聊天机器人、代码生成等实时应用的延迟,优化高并发服务的吞吐量,以及在受限硬件上高效部署。其核心思路是用小模型或额外预测头生成候选 token,再由大模型并行验证,从而减少串行解码步数。文档提供了 transformers、Medusa、LookaheadDecoding 及 vLLM 的安装方式,并给出各方法的快速开始代码、算法原理、超参数调优建议与生产部署示例。资料显示三种方法均无质量损失,其中 Medusa 需要少量训练(仅训练预测头),Lookahead 则无需草稿模型或训练即可开箱使用。

智能体与模型35 次安装