SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场model-pr-history-knowledge

model-pr-history-knowledge

智能体与模型

查看项目

更新于 10-17 00:38

技能介绍

Model PR History Knowledge

这是一套由 PR 驱动的模型优化历史知识库，而不是一组针对单个模型的技能。每个模型家族维护双语文档，包含经过检查的 PR diff、实现文件覆盖情况、时间线、变更文件、代码摘录，以及验证与风险说明。

在以下情况之前使用它：为特定模型的服务路径打补丁、选择优化目标，或解释某框架为何已经存在更快的路径。

用途

该知识库用于在模型优化与服务开发过程中提供历史 PR 证据参考。它面向 SGLang、vLLM、TensorRT-LLM 和 TokenSpeed 四个框架，按模型家族组织文档，帮助使用者了解某个模型家族此前有哪些 PR 改动过热路径、做过哪些融合、重叠、量化、MoE、注意力、缓存、采样或加载器相关的修改。

在将历史证据应用到当前分支时，应参考维护中的 source contracts（../docs/upstream-source-contracts.md）。审阅/历史语料各自保留其采集日期；它们并不认证今天的调度或数值默认值。对于内核替换，应先验证真实模型确实执行了候选实现，再视为端到端测试已覆盖。

标记为 not a manual audit 的生成条目是 PR 发现清单。在得出优化结论前，需阅读其完整 diff 与当前调用方；API 文件数量和代码片段并不构成完整的 diff 覆盖。已有的手工审计说明保留其原始日期。

查询方式

在该目录下运行命令：

python3 scripts/query.py --list
python3 scripts/query.py --framework sglang --model qwen3-core --paths-only
python3 scripts/query.py --framework sglang --model qwen3-core "fused qk norm rope"
python3 scripts/query.py --framework vllm "DeepSeek-V4 fused norm router" --limit 5
python3 scripts/query.py --framework tokenspeed qwen35 --paths-only

可用选项：

  • --framework sglang|vllm|tensorrt_llm|tokenspeed：限定某一个服务框架。
  • --model <slug>：限定某一个模型家族目录。
  • --lang en|zh|both：选择英文、中文或双语文档。
  • --paths-only：只打印需要阅读的文档路径，不输出片段。
  • --limit N：限制搜索结果数量。

工作流程

  1. 从用户的模型 id、checkpoint 路径或 SGLang 源码路径推断模型家族 slug。如果不确定，运行 scripts/query.py "<model name>"。
  2. 对于 SGLang 补丁工作，先阅读匹配的 SGLang 历史。当 vLLM、TensorRT-LLM 或 TokenSpeed 是主要竞争者，或其 trace 暗示 SGLang 缺少某条快速路径时，也应阅读竞争框架的历史。如果文档开头有带日期的说明（source-head 刷新、回填审计或已审阅的内核附录），应先读它：它承载了生成时间线与卡片所不具备的人工审阅上下文。
  3. 只提取可操作的证据：
    • 模型实现文件与符号
    • 改动过热源路径的 PR
    • 此前的融合、重叠工作、量化、MoE、注意力、缓存、采样器或加载器改动
    • 可能解释已知缺口或待支持问题的 open/watch PR
    • PR 卡片所暗示的验证通道与回归风险
  4. 在当前运行的产物中保存一条简短笔记，例如 history/model-pr-history-notes.md，记录阅读的路径、PR 编号、源文件，以及每一项所影响的决策。
  5. 不要把长篇 PR 卡片复制进最终回答。引用路径并总结相关的实现/风险。

模型 Slug

当前框架：

  • sglang（45 个家族）
  • vllm（44 个家族）
  • tensorrt_llm（15 个家族）
  • tokenspeed（14 个家族）

当前模型家族 slug 包括：

deepseek-ocr, deepseek-ocr-2, deepseek-v3-r1, deepseek-v31, deepseek-v32,
deepseek-v4, deepseek-v41, dots3, ernie45, exaone4, gemma4, glm-vlm-ocr,
glm45, glm46-glm47, glm5-glm51, gpt-oss, hunyuan3-preview, hunyuan4, inkling,
intern-s1, internvl35, jina-reranker-m0, kimi, ling25, ling3, llada21,
llama31, llama33-70b, llama4, longcat-flash, mimo-v2-flash, minimax,
mistral-small-4, mixtral-quark-int4fp8-moe, moss-vl, nemotron-super,
qwen-vlm-omni-asr, qwen3-coder, qwen3-core, qwen3-next, qwen35, qwen36,
qwen38, qwen4-exp, ring25, step35, step37

可用性因框架而异；python3 scripts/query.py --list 是权威依据。重叠 slug 的说明：

  • deepseek-v4 保留所有 V4 PR；deepseek-v41 是同一批文件中 V4.1 的子集（subject 必须写明 V4.1）。做 DSV4.1 工作时应同时阅读两者。
  • glm5-glm51 覆盖 GLM-5、5.1、5.2 与 5.3-Flash（glm5_next、glm53_flash、GlmMoeDsa）。
  • qwen4-exp 是 Qwen3.8-Flash-Next 使用的 qwen4_exp 模型文件；qwen38 跟踪 Qwen3.8 cookbook 表面。公开的 Qwen/Qwen3.8-27B 是 model_type=qwen3_5，因此其加载器与内核历史位于 qwen35 下（vLLM 没有专门的 qwen38 slug）。
  • hunyuan4 是 Hy4（hunyuan_v4 / hy_v4）；ling3 是 BailingMoeV3；nemotron-super 也覆盖 Nemotron-H；minimax 覆盖 M2 与 M3；kimi 覆盖 K2、K2.5、K3、Linear 与 VL。
  • TensorRT-LLM 与 TokenSpeed 档案的生成方式与 SGLang、vLLM 相同。它们带日期的手写刷新说明保留在页面顶部。

优化工作流契约

当剖析或优化任务使用该知识库时：

  • 在模型识别之后、补丁规划之前阅读它。
  • 在运行笔记中记录历史路径与关键 PR 证据（例如 history/model-pr-history-notes.md）。
  • 如果 profiler 指向某个已知模型路径，在编写新补丁前检查历史中该文件是否已有改动。
  • 如果某个竞争框架更快，在假设差距仅在内核层面之前，先在该竞争框架的模型历史中搜索同一模型家族与同一阶段。当比较依赖最新上游行为时，应针对确切目标 commit 刷新实时源码/PR。

适用场景与限制

适用场景：为模型家族的服务路径规划补丁、选择优化目标、分析已知性能缺口、评估回归风险、确定验证通道。

限制：历史语料有采集日期，不代表当前调度或数值默认值；生成条目可能只是 PR 发现清单而非完整审计；内核替换需先验证真实模型执行候选实现；框架独占 slug 的可用性以 scripts/query.py --list 为准。具体收费、价格、平台支持范围等资料中暂未提供。