SuperAPI AI 工具集

medspeak-knowledge-graph-aided-asr

通用与其它

查看项目

更新于 10-16 06:50

技能介绍

用途:面向医学、生物医学与临床内容的语音识别(如 Whisper)转录纠错,修正被误识别的医学术语(如把 chorioretinitis 误转为 chorioamnionitis),并可用于带噪声音频的口语医学问答。

主要能力:构建双重知识图谱,一是基于 UMLS MRREL 的语义图,存为 SQLite 的 (term_a, relationship, term_b) 边表;二是音近图,存为 JSONL,记录每个术语的 Double Metaphone 编码及 Levenshtein 距离阈值内的音近词。采用“先检索后纠错”流程:从含噪转录中抽取候选术语,语义检索约 600 token、音近检索约 300 token 的证据,与转录、选项一起送入大模型,令其同时输出纠正后的文本与答案。音近过滤需同时通过 Double Metaphone 匹配和基于 CMU 发音词典的 Levenshtein 阈值(通常 1–2)两阶段筛选。

使用方式:从 UMLS MRREL 抽取并过滤关系存为 CSV;建 SQLite 语义图并加索引;用 metaphone 库与 Levenshtein 生成音近图;用 Whisper 转录音频(如 whisper.load_model("small"));抽取候选术语;分别检索两类证据并按 token 预算拼接提示,要求模型按“Corrected Text: … / Correct Option: …”两行格式输出;解析后用 WER 与问答准确率评估。

适用场景:批量离线纠正医学讲座、临床语音转录,构建以医学知识图谱为检索源的 RAG 与口语问答系统;同一架构也可换用法律等术语源迁移到其他领域。

限制:语义图依赖需 NIH 免费许可的 UMLS,缺失时需替换本体;Double Metaphone 与 CMU 词典面向英语,中文等需改用相应音码方案;论文评估基于选择题问答,开放式问答或自由文本病历纠错需另行设计输出与评估;检索加推理带来额外延迟,适合批处理而非实时听写;UMLS 未覆盖的罕见或新造术语无图谱证据;最佳效果依赖微调过的 Llama 3.1 8B,零样本提示效果较低。以上数值与结论均来自资料,使用前建议核实。