MedEvalKit 是一个统一的医疗评测框架，专注于医疗健康领域大型模型（包括大型医学模型 LMMs 和大型语言模型 LLMs）的评估。该框架旨在为医疗 AI 模型的性能提供标准化、可复现的评测流程。项目由 alibaba-damo-academy 维护，于 2025 年 6 月 12 日发布 v1.0 初始版本。
主要用途：面向医疗领域的大型模型进行综合评测，覆盖多模态和纯文本两类评测场景。
主要能力：
- 支持多种评测基准（Benchmarks），具体基准列表可在项目仓库中查看。
- 支持多种模型（Models），包括 HuggingFace 独家模型以及兼容 HuggingFace 和 vLLM 的模型，例如 HuatuoGPT-vision、Llama_3.2-vision 等。
- 提供多模态评测结果和纯文本评测结果。
- 提供 arXiv 论文、Lingshu 模型和 Lingshu 项目页面链接，便于了解技术细节。
- 欢迎社区贡献新的模型、基准或增强的评测指标。
使用方式：
- 安装：项目提供安装步骤（具体命令需参考仓库内文档）。
- 数据集准备：支持两种方式，一是直接通过 HuggingFace Datasets 访问，二是本地数据集需手动下载。
- 评测流程：首先配置 eval.sh 文件，然后运行评测。
适用场景：适用于医疗 AI 研究者和开发者对大型医学模型进行标准化评测，比较不同模型在医疗任务上的表现，或为模型改进提供依据。
限制：当前提供的资料中未详细列出全部支持的基准和模型清单，具体内容需查看仓库内对应章节。安装命令、数据集下载链接等具体信息暂未提供于本介绍所依据的资料中，请以项目仓库最新文档为准。
