CPPO(Completion Pruning Policy Optimization,补全剪枝策略优化)是一种旨在加速基于 GRPO(Group Relative Policy Optimization,组相对策略优化)的推理模型训练的方法,论文已被 NeurIPS 2025 接收。以下内容依据项目公开资料整理。
用途 CPPO 针对 GRPO 在训练推理模型时训练成本高的问题。GRPO 虽然有效,但需要为每个问题采样多个补全(completion),这使得训练时间随补全数量成倍增加。CPPO 通过优化补全的使用方式来降低训练开销,从而加速训练过程。
主要能力 根据资料,CPPO 的核心机制包括两点:一是剪除绝对优势(absolute advantage)较低的补全,因为并非所有补全对策略训练的贡献相同,其贡献取决于相对优势;二是引入动态补全分配策略,通过纳入额外问题来最大化 GPU 利用率。实验结果表明,相比原始 GRPO,CPPO 在 GSM8K 上可实现最高 8.32 倍加速,在 Math 上实现 3.51 倍加速,同时保持甚至提升准确率。
使用方式 资料中提供了复现实验的环境准备信息:在 GSM8K 上复现结果需要两块 80G 显存的 GPU,在 Math 上复现结果需要四块 80G 显存的 GPU。模型检查点(ckpt)可从 Hugging Face 下载。项目还发布了 CPPO 的 verl 版本。具体的安装命令、代码示例和运行步骤在现有资料中暂未提供。
适用场景 CPPO 适用于需要训练基于 GRPO 的推理模型的场景,尤其是对训练效率有较高要求、希望减少补全采样数量以降低训练成本的研究或工程任务。资料中提到的验证任务包括 GSM8K 和 Math 等数学推理任务,以及分布外(Out-of-Distribution)任务。
限制 现有资料未提供具体的安装命令、完整代码示例、支持的模型范围、硬件之外的软件依赖、许可协议或收费信息。复现实验对 GPU 显存有明确要求(GSM8K 需两块 80G GPU,Math 需四块 80G GPU),这可能构成使用门槛。其他潜在限制暂未提供。