XrayGLM 是一个专注于胸部 X 光片报告生成的中文多模态医学大模型,旨在填补医学领域多模态大模型的空白,特别是针对中文社区。
主要能力:
- XrayGLM 能够对胸部 X 光影像进行诊断报告生成,并支持多轮交互对话。
- 模型基于 VisualGLM-6B 进行微调,使用了构建的中文胸部 X 光片诊断数据集。
- 该数据集由 ChatGPT 和公开数据集(MIMIC-CXR 和 OpenI)构建,包含英文报告及其中文翻译版本。
使用方式:
- 用户可以通过 Google Colab Pro 运行 XrayGLM,或本地部署后访问 http://127.0.0.1:7860 进行交互。
- 模型训练复现过程在 A100 (4X, 80GB) 上进行,需准备中文诊疗报告和 X 光影像数据。
- 项目提供了官方视频教程和复旦大学《大语言模型理论与实践》课程参考。
适用场景:
- 适用于医学影像诊断研究、多轮医学对话系统开发,以及中文医学多模态大模型的学术探索。
限制:
- 项目相关资源仅供学术研究之用,严禁用于商业用途。
- 模型生成内容受计算、随机性和量化精度损失等因素影响,无法保证准确性,不能作为实际医学诊断依据。
- 模型能力依赖数据支持,目前基于低质量数据训练和权重,效果有限。
- 使用第三方代码时需遵循相应开源协议。