STILL(Slow Thinking with LLMs)是 RUCAIBox 团队围绕大语言模型慢思考推理系统开展的系列技术研究工作,目标是对标类 o1 的推理系统。项目在 GitHub 上开源了研究报告、代码、模型与训练数据。
【主要研究方向与成果】
- LLM 探索机制(LLM Exploration Mechanism,2025年8月):在 RLVR 中系统分析大模型的探索机制,量化 SFT 与 RL 的差异,揭示熵-性能动态关系,并提出提升探索与训练效率的策略,代码已开源。
- 代码集成推理(Code-Integrated Reasoning,2025年6月):提出改进的工具增强强化学习方法,平衡探索与稳定性,在五个数学基准上表现优异,并对该机制进行了深入分析。
- ICPC-Eval(2025年5月):基于118道ICPC竞赛题目的新基准,评估大模型在真实竞赛编程场景下的推理能力,提出迭代修复指标 Refine@K,开源数据集、评测代码与论文。
- SimpleDeepSearcher(2025年4月):通过知识蒸馏与自蒸馏激发大模型的自主网络搜索能力,筛选871条高质量训练样本,在复杂信息检索任务上优于现有强化学习方法,开源模型与数据集(0.5k 和 0.8k)。
- STILL-3(2025年3月):关于激发与改进类 R1 推理模型的实证研究,系统实验了影响 RL 训练的各种因素,并探索工具操作对推理性能的提升,开源代码与训练数据。
- OlymMATH(2025年3月):包含200道奥数级别数学题的基准,覆盖代数、几何、数论、组合,提供中英双语版本与难易分级,开源数据集、评测代码与论文。
- R1-Searcher(2025年3月):一种两阶段、基于结果的两阶段强化学习方法,使大模型能够在推理过程中自主调用外部搜索系统,无需过程奖励或冷启动蒸馏,开源模型(Qwen-2.5-7B-Base-RL、Llama-3.1-8B-Instruct-RL)、代码与数据。
- 模型发布:STILL-3-Tool-32B(2025年3月)利用 Python 代码辅助推理,AIME 2024 准确率81.70%;STILL-3-1.5B-preview(2025年1月)为15亿参数慢思考推理模型,AIME 准确率39.33%;Virgo(2025年1月)基于 Qwen2-VL-72B-Instruct 的多模态慢思考推理模型。
- 幻觉缓解(2025年1月):提出 HaluSearch 框架,结合树搜索算法与动态系统切换机制,受双过程理论启发,减少推理过程中的大模型幻觉。
- 早期工作:STILL-1(2024年11月)使用奖励引导树搜索辅助推理;STILL-2(2024年12月)初步复现慢思考推理系统,并发布技术报告。
【使用方式】 研究资料显示项目提供开源代码、模型、训练数据与评测基准,部分通过 GitHub 与 HuggingFace 发布。具体安装命令、依赖配置与运行步骤暂未提供。
【适用场景】 适用于大模型推理研究、强化学习训练、数学与代码推理评测、信息检索增强、幻觉缓解等学术与工程研究场景。
【限制】 项目定位为技术研究,具体产品化程度、收费模式、平台支持与详细使用文档暂未提供。