SuperAPI AI 工具集

digital-health-clinical-asr-finetune

智能体与模型

查看项目

更新于 10-16 03:49

技能介绍

用途:这是 Clinical ASR Flywheel 的第 4 阶段(微调)。它承接评测阶段,在确认「微调值得占用 GPU 时间」后,对临床语音识别模型做监督微调,并离线复评确认效果,可选将 .nemo 交给 /riva-asr-custom 部署为 Riva NIM。

启用条件(门槛):优先类别 KER > 0.3,且清单至少 100 行、每个优先类别至少 5 行;未达标应先回到 /digital-health-clinical-asr-build 扩充清单。

主要能力与用法:采用 NeMo 原版脚本(无补丁、无自定义 adapter 逻辑),在 nvcr.io/nvidia/nemo:25.11.01 容器内运行 /opt/NeMo/examples/asr/speech_to_text_finetune.py。推荐基础模型为 nvidia/parakeet-tdt-0.6b-v2;按 entity_category 做行不重叠、分层的 train/val 切分(默认 val 0.2)。资料给出验证结果:参考清单上 3 个 epoch 后 KER 0.513 → 0.128(相对下降 75%),药品名 0.857 → 0.214,病症 0.500 → 0.000,操作 0.250 → 0.000。训练产出 adapted_model.nemo 与 training_run_info.json;再用 NeMo 离线 transcribe() 复评同一批指标,与上一轮榜单比较:明显下降则保留模型,变化太小或变差则回到扩清单阶段。

硬件与费用:需 CUDA 主机,16 GB 显存可用、24 GB 更稳妥;无本地 GPU 可用 Brev(资料标注 L40S 48 GB 约 $1.50/小时,3 epoch 约 15–30 分钟),使用前必须显式确认费用,结束后 brev stop 或 brev delete 以停止计费。

限制:不要用 nvidia/nemotron-speech-streaming-en-0.6b 做 SFT,其微调路径会崩溃;TDT/RNNT 解码器上的 adapter-mixin 路径不可用。部署需显式指定源解码器类型。容器内路径需从宿主机路径改写为 /workspace/…。部分参数与步骤细节资料未提供。