SuperAPI AI 工具集

nemotron-transcribe

智能体与模型

查看项目

更新于 10-29 10:47

技能介绍

nemotron-transcribe 是 NVIDIA Nemotron 3.5 Transcribe 的参考与路由技能,调用方式为 /nemotron-transcribe。它的定位是“参考台与工作流路由器”:为模型事实、检查点选择、推理约束和上游规范工作流的定位提供入口,而可执行的语音训练与导出流程仍以 NeMo Speech 为准。

使用方式 从 INDEX.md 开始定位最小相关来源;用 context/quick-reference.md 做快速路由;用 model-card.md 查身份、变体、能力和推理边界;用 recipes/overview.md 选择可用的上游工作流并查看缺失阶段;部署示例可读仓库根目录的 usage-cookbook/Nemotron-3.5-Transcribe/README.md。

来源优先级 冲突时按以下顺序解析:所选检查点的 Hugging Face 模型卡;所请求阶段的规范 NeMo Speech 技能与实现;技术报告(模型开发、架构与已报告评测声明);本技能的简明摘要;Nemotron cookbook。

主要路由能力

  • 用预训练语言与语音组件构建 SALM:NeMo Speech train-speech-llm 配合 salm_nemotron.yaml。
  • 精确复现已发布检查点:主阶段模板是参数化的,生产组件检查点、数据混合、集群数值与完整验证证据未包含。
  • 面向领域、语言或语音任务微调:NeMo Speech finetune-speech-llm。
  • 训练或适配 DFlash/DFlash2 草稿模型:NeMo Speech train-dflash。
  • 将 SALM 检查点量化为 FP8 或 NVFP4:NeMo Speech quantize-speech-llm。
  • 用 vLLM 服务 BF16、FP8 或 NVFP4:Nemotron Transcribe vLLM cookbook 加所选模型卡。
  • 词级时间戳与说话人分离元数据:vLLM cookbook、所选模型卡与维护中的 NeMo Speech 中间件;PR #16344 为变更来源。
  • 复现 RL 后训练:暂无公开的 Transcribe 专用配方,应说明该缺口。
  • 训练时间戳头:暂无公开训练配方,不可用时间戳服务支持替代。
  • 复现已发表评测:暂无公开的自动化工具、数据集、归一化与评分包,应说明缺口。

精度选择 BF16 是参考检查点,也是微调起点。FP8 是 ModelOpt 导出,量化解码器、音频编码器与 MTP 头,由服务栈读取其量化配置。NVFP4 是 NVFP4/FP8 混合导出,需要 Blackwell,验证配置中使用显式 FP8 KV 缓存。回答服务或评测问题时应写明确切模型 ID 与精度,不应暗示量化版本是首选训练来源。若用户微调 BF16 后需要 FP8 或 NVFP4,应路由到对其合并后的自定义检查点做量化,因为已发布量化版本是 NVIDIA 发布 BF16 模型的量化结果,而非用户微调结果。

推理规则 模型为离线模型,支持最长一小时的训练上限录音,内部 30 秒分块并非流式。转录、翻译和语种识别建议先关闭推理并将 temperature 设为 0。保留特殊 token 以便说话人与事件标签。时间戳输出为可选元数据,使用词对齐前检查其 error 字段,请求应为一个音频、一次非流式补全。MTP 与 DFlash2 是备选方案,当前 DFlash2 服务不与 CTC 时间戳组合。应在量化前对合并的 BF16 微调做 MTP 与 CTC 时间戳冒烟测试,组装和量化后再测一次。应优先采用所选模型卡验证过的投机解码配置,而非通用阶段指南中的示例默认值。NeMo Speech 与检查点应视为一个兼容包:当前检查点使用 Nemotron3_5TranscribeForConditionalGeneration,需要注册该架构及其 Nemotron3_5TranscribeMTPModel 草稿的 NeMo Speech 修订版;旧/旧组合可能仍可用,但不要混用重命名前与重命名后的组件。应固定经 GPU 测试的 NeMo Speech 与检查点修订,main 与未限定模型 ID 属于漂移依赖。

回答风格与边界 先给直接答案;区分模型卡声明、技术报告结果与公开配方覆盖为独立来源层;链接所用的确切上游技能、脚本或指南;明确说明公开缺口,绝不虚构检查点、数据集、阶段配置或发布固定版本。基准数字、提示列表、语言覆盖、安全与许可应链接模型卡而非复制。本技能应提供模型相关路由、阶段顺序、变体选择与已知兼容约束,区分主阶段构建、已发布检查点适配与精确复现,不把 NeMo Speech 操作技能粘贴或分叉到本目录,不用猜测值填充主阶段模板的生产占位符,不宣称时间戳服务是时间戳头训练配方,不在无维护中 Transcribe 配方时宣称可公开复现 RL,也不在需保留编码器、投影、辅助头与提示格式时套用通用 LLM 微调指南。