diagnosis_zero 是一个在医学罕见病诊断领域复现 DeepSeek R1 Zero 训练方法的开源项目，由 wizardlancet 发布在 GitHub 上。项目的核心目标是探索将 R1 Zero 风格的训练应用于疾病诊断任务，特别是罕见病诊断，并观察不同规模模型在训练过程中的行为变化。
用途方面，该项目面向对强化学习训练推理模型、医学诊断 AI 感兴趣的研究者和开发者，提供了一套可参考的复现流程与实验发现。项目基于 Verl 框架实现，使用 RareArena 数据集（RDC 设置）和 GRPO 算法进行训练。训练时，给定患者的医疗记录，通过思维链提示引导模型先进行推理再给出诊断。奖励函数采用序列匹配算法，将模型预测与真实标签对比，以缓解特殊字符和格式问题，但项目也指出该方法不能完全解决疾病名称同义词带来的挑战。
主要能力与探索内容包括：复现 DeepSeek R1 Zero 在医学诊断领域的训练；对 1.5B、3B、7B 三种模型规模进行多尺度探索；实现针对诊断任务的自定义奖励函数。项目记录了训练进展，并公布了若干发现。在模型性能提升方面，Top-1 准确率随模型规模增大而提高：1.5B 模型从 4.2% 提升至 8.1%，3B 模型从 9.8% 提升至 12.1%，7B 模型从 15.9% 提升至 21.6%。训练后模型对病史的分析更全面，对全身性疾病的识别增强，疾病特征整合更好，诊断准确性显著提升。
在模型输出行为与格式遵循方面，1.5B 模型在 1.5K 训练步后，许多测试用例只输出 <answer> 标签而没有 <think> 部分，可能意味着模型放弃了推理思维链。1.5B 模型在 RL 训练后能较好地保持输出格式，而 7B 模型虽然整体诊断成功率更高，但遵循输出格式的失败率增加。对于 MedQA、MMLU（mmlu-college-medicine）和 MedMCQA 等任务，训练后未观察到显著变化。
混合语言现象方面，训练后 3B 和 7B 模型出现多种语言混合的输出，7B 模型在 1K 步时混合语言输出明显增加。混合语言百分比统计显示：1.5B 在 0 步为 0.4%，500 步 0.0%，1000 步 0.2%，1500 步 0.2%；3B 在 0 步为 0.0%，500 步 0.0%，1000 步 0.3%，1500 步 0.1%；7B 在 0 步为 0.0%，500 步 0.1%，1000 步 10.6%，1500 步 0.2%。当发生混合语言输出时，所有模型的整体匹配概率约为 14.16%，而混合语言情况下升至约 28.93%；具体到 7B 模型，混合语言条件下的准确率为 31.19%，而整体准确率为 18.90%。项目指出这一现象值得进一步研究，并给出了 7B 模型在 1K 步时混合语言问题的两个示例，表现为 <answer> 标签后附加了第二语言。
项目总结了一些结论：更大的模型在此尝试中获得更高的 Top-1 诊断准确率增益。格式与准确率之间存在问题，1.5B 模型倾向于保持输出格式，甚至有时丢弃 <think> 标签和思维链；7B 模型虽然格式遵循失败率更高，但诊断性能更优，这可能源于格式奖励与准确率奖励之间的冲突。混合语言效应由 7B 模型在 1K 步触发，在 <answer> 标签后附加第二语言，虽然这些情况似乎带来更高的诊断匹配概率，但其根本原因需进一步研究。
使用方式方面，项目建议从官方仓库安装最新版 Verl，因为 Verl 更新频繁。数据准备需要从原始 RareArena 数据集获取数据并进行预处理，数据模板面向 instruct 模型。核心实现涉及上述训练流程与自定义奖励函数。项目还提供了 Wandb 报告链接，并致谢相关资源。
适用场景主要是医学罕见病诊断的强化学习训练研究、R1 Zero 风格训练的复现与探索、模型规模对诊断任务影响的对比实验。
限制方面，项目明确指出实验设置初步，奖励函数和参数未完全优化；Qwen 系列模型在 Rare Arena 基准上表现并非最佳，结果可能不易推广到其他模型；训练稳定性仍是问题，长时间训练后模型通常会崩溃（尽管 KL 损失问题已从 Verl 官方仓库修复）；疾病诊断任务的准确率提升相比推理任务更小，这可能因为诊断需要更全面综合的信息处理以及对关键症状的更强关注，因此该方法的通用性和成本效益需进一步研究。项目还提醒结果应谨慎解读，某些结果（格式奖励与准确率奖励的冲突）可能支持“R1-Zero 类训练中可能不存在 Aha Moment”的观点。