LLM Tuning Patterns 是一套用于配置 LLM 参数的证据型模式集合,其依据来自 APOLLO 与 Godel-Prover 研究。核心观点是:不同任务需要不同的 LLM 配置,应据此选择经过验证的设置。
用途 该模式集合面向需要为不同任务调优 LLM 参数的场景,帮助使用者根据任务性质选择 max_tokens、temperature、top_p 等参数,并采用相应的提示与采样策略。
主要能力
- 定理证明 / 形式化推理:基于 APOLLO parity 分析,推荐 max_tokens 为 4096(证明需要思维链空间)、temperature 为 0.6(为策略探索提供更高创造性)、top_p 为 0.95(允许多样化的证明路径)。
- 证明计划提示:始终在给出策略之前先要求模型输出证明计划。示例提示为:给定待证定理 [theorem statement],首先写出解释方法的高层证明计划,然后建议实现每一步的 Lean 4 策略。资料指出,证明计划(思维链)能显著提升策略质量。
- 并行采样:对于困难证明,使用并行采样——生成 N=8-32 个候选证明尝试,采用 best-of-N 选择,每个样本的 temperature 为 0.6-0.8。
- 代码生成:推荐 max_tokens 为 2048(对大多数函数足够)、temperature 为 0.2-0.4(偏好确定性输出)。
- 创意 / 探索任务:推荐 max_tokens 为 4096(留出探索空间)、temperature 为 0.8-1.0(最大创造性)。
反模式
- 证明任务 token 过低:512 tokens 会截断思维链。
- 证明任务温度过低:0.2 会错过创造性的策略路径。
- 没有证明计划:不先规划就直接跳到策略会降低成功率。
来源会话
- 本会话:APOLLO parity——将 max_tokens 从 512 提升到 4096,temperature 从 0.2 提升到 0.6。
- 本会话:为在策略之前引入思维链,新增了证明计划提示。
适用场景与限制 该模式适用于定理证明、形式化推理、代码生成以及创意/探索类任务的参数配置参考。资料未提供具体的平台支持范围、收费方式、价格或安装步骤等信息,这些内容暂未提供。