LLaVA-Reasoner-DPO 是论文《Improve Vision Language Model Chain-of-thought Reasoning》的非官方实现仓库，专注于提升视觉语言模型（VLM）的思维链（Chain-of-thought, CoT）推理能力。
主要用途：通过监督微调（SFT）和直接偏好优化（DPO）两阶段训练，增强视觉语言模型在视觉问答等任务中的推理表现，使模型能够生成更准确的推理链。
主要能力与资源：
- 数据：发布 ShareGPT4o-reasoning 数据集，包含 193k 条 CoT 预测及过滤后的直接预测；发布 ShareGPT4o-reasoning-dpo 数据集，包含 66k 条 DPO 数据，覆盖 A-OKVQA、数学（math）、ChartQA 三个领域。
- 模型：提供 Open-LLaVA-NeXT 作为基座模型（与 xiaoachen98/Open-LLaVA-NeXT 相同）；提供 LLaVA-Reasoner-SFT-preview（直接预测 + CoT 的 SFT 模型）；LLaVA-Reasoner-SFT（在 preview 基础上增加数学数据的 SFT 模型）；LLaVA-Reasoner-DPO-preview（从 SFT-preview 进行 DPO 训练的模型）。
- 训练流程：项目包含 sft、dpo 流水线，以及 distill gpt、推理和评估流程。
使用方式：仓库提供了训练和评测的代码流程，但具体安装命令、依赖配置和使用步骤在现有资料中暂未提供，需参考 GitHub 仓库中的文档及关联项目（如 Open-LLaVA-NeXT、LLaVA-Hound-DPO）。
适用场景：适用于视觉语言模型思维链推理的研究与开发，特别是在视觉问答、数学推理和图表理解等领域，可供研究人员进行 SFT/DPO 训练、模型蒸馏、推理与评估。
限制：本资料未提供收费、价格、平台支持、性能效果等具体信息；项目为研究性质的非官方实现，使用需具备相关深度学习与模型训练知识。
