SuperAPI AI 工具集

XrayGLM

XrayGLM 是首个面向胸部 X 光片报告生成的中文多模态医学大模型,由澳门理工大学团队开发。该模型基于 VisualGLM-6B 微调,利用 ChatGPT 和公开数据集构建了中文胸部 X 光片-诊断报告数据集,支持医学影像诊断和多轮交互对话,供学术研究使用。项目开源了模型权重和代码,复现过程简单,但严禁商业用途。

访问官网

工具介绍

XrayGLM 是一个专注于胸部 X 光片报告生成的中文多模态医学大模型,旨在填补医学领域多模态大模型的空白,特别是针对中文社区。

主要能力:

  • XrayGLM 能够对胸部 X 光影像进行诊断报告生成,并支持多轮交互对话。
  • 模型基于 VisualGLM-6B 进行微调,使用了构建的中文胸部 X 光片诊断数据集。
  • 该数据集由 ChatGPT 和公开数据集(MIMIC-CXR 和 OpenI)构建,包含英文报告及其中文翻译版本。

使用方式:

  • 用户可以通过 Google Colab Pro 运行 XrayGLM,或本地部署后访问 http://127.0.0.1:7860 进行交互。
  • 模型训练复现过程在 A100 (4X, 80GB) 上进行,需准备中文诊疗报告和 X 光影像数据。
  • 项目提供了官方视频教程和复旦大学《大语言模型理论与实践》课程参考。

适用场景:

  • 适用于医学影像诊断研究、多轮医学对话系统开发,以及中文医学多模态大模型的学术探索。

限制:

  • 项目相关资源仅供学术研究之用,严禁用于商业用途。
  • 模型生成内容受计算、随机性和量化精度损失等因素影响,无法保证准确性,不能作为实际医学诊断依据。
  • 模型能力依赖数据支持,目前基于低质量数据训练和权重,效果有限。
  • 使用第三方代码时需遵循相应开源协议。