awesome-o1 是一个 GitHub 仓库，定位为围绕 OpenAI o1 的论文文献目录与综述（bibliography and survey）。根据仓库说明，这是一份“被认为与 OpenAI o1 相关的论文”的文献目录，并提供了 o1 教程幻灯片以及一个 YouTube 视频链接（https://youtu.be/6PEJ96k1kiw）。
在内容组织上，仓库以主题分组的方式列出相关文献，并配有简短说明。这些主题包括：希望实际奏效的方法，如 Self-Consistency（X. Wang et al. 2022，指出 LLM 输出的多数投票略有提升）、Scratchpad（Nye et al. 2021）/ Chain-of-Thought（Wei et al. 2022，提出 LLM 能否通过“自言自语”变得更好）、Tree-of-Thought（Yao et al. 2023，提出能否将其扩展为树结构）。关于为何可能实现，列出了 AlphaGo（Silver et al. 2016，量化自我对弈训练与测试搜索的价值）、AlphaZero（Silver et al. 2017，展示基于引导自我轨迹的训练可泛化与扩展）、Libratus（N. Brown and Sandholm 2017，通过扩展搜索构建的扑克机器人）、Scaling Laws for Board Games（Jones 2021，在受控环境下比较训练/测试 FLOPs 的实验）、Noam Lecture（Paul G. Allen School 2024，Noam Brown 关于搜索力量的演讲）。
关于推理是否可视为可验证游戏，列出了 WebGPT（Nakano et al. 2021，展示针对奖励模型的测试时拒绝采样是非常强的模型）、GSM8K（Cobbe et al. 2021，探讨数学推理为何困难并引入 ORM 模型用于验证）、Process Reward（Uesato et al. 2022，引入过程奖励/结果奖励模型的区别，并使用专家迭代 RL）、Let’s Verify（Lightman et al. 2023，证明 PRM 在拒绝采样效果上可能非常有效）、Math-Shepard（P. Wang et al. 2023，使用 rollouts 进行自动价值函数学习的实验）。
关于验证器能否造出更好的 LLM，列出了 Expert Iteration（Anthony, Tian, and Barber 2017，搜索、收集、训练，用于 RL 自我改进的方法）、Self-Training（Yarowsky 1995，经典无监督方法：生成、剪枝、重训）、STaR（Zelikman et al. 2022，将 LLM 改进表述为在导致正确答案的推理依据上重训，并作为近似策略梯度论证）、ReST（Gulcehre et al. 2023，将改进建模为离线 RL：采样轨迹、扩充语料、重训）、ReST-EM（Singh et al. 2023，将类似方法形式化为 RL 的 EM，并应用于推理）。
关于 LLM 能否学会规划（仓库注明这部分最具推测性），列出了 Stream of Search（Gandhi et al. 2024，在线性化、非最优搜索轨迹上训练可诱导更好的搜索）、DualFormer（Su et al. 2024，在带有掩码步骤的最优推理轨迹上训练可提升推理能力）、AlphaZero-like（Feng et al. 2023）/ MCTS-DPO（Xie et al. 2024）/ Agent Q（Putta et al. 2024，勾勒出面向 LLM 规划的 MCTS 风格专家迭代）、PAVs（Setlur et al. 2024，主张用优势函数而非价值函数 PRM 来学习搜索，并显示搜索效率提升）、SCoRE（Self-Correct）（Kumar et al. 2024）。关于这是否带来测试时扩展，列出了 Optimal test scaling（Snell et al. 2024）、Large Language Monkeys（B. Brown et al. 2024）、Inference Scaling（Y. Wu et al. 2024）。
仓库还包含一份完整文献列表（Full Bibliography），按作者字母顺序列出各篇论文的完整引用信息，包括作者、年份、标题、发表场所及 arXiv 或会议链接。例如 Anthony, Thomas, Zheng Tian, and David Barber 2017 年的 “Thinking Fast and Slow with Deep Learning and Tree Search”；Brown, Bradley 等 2024 年的 “Large Language Monkeys: Scaling Inference Compute with Repeated Sampling”；Brown, Noam, and Tuomas Sandholm 2017 年的 “Libratus: The Superhuman AI for No-Limit Poker”；以及 Chen、Cobbe、Feng、Gandhi、Gulcehre、Jones、Kazemnejad、Kirchner、Kumar、Lightman、Nakano、Nye、Putta、Setlur、Silver、Singh、Snell、Su、Uesato、Wang、Wei、Welleck、Wu、Xie、Yao、Yarowsky、Yoshida、Zelikman、Zhao 等作者的条目。
使用方式上，该仓库为公开的 GitHub 项目，用户可通过仓库中的文件夹与文件导航浏览主题分组和完整文献列表，并可访问提供的教程幻灯片与视频链接进行学习。适用场景包括：研究 o1 相关推理与强化学习文献、按主题查找关键论文、跟踪测试时计算与验证器方向的工作。限制方面，仓库本身是文献目录与综述，不提供可直接安装运行的软件或模型；其内容为论文清单与简要说明，具体功能、收费、价格、平台、效果或使用步骤在资料中暂未提供。
