链式思维(CoT)提示让语言模型在作答前逐步推理,而不是直接跳到最终答案。其机制是:通过生成中间推理 token,模型为每个问题投入更多计算,并拥有存放部分结果的“草稿纸”。在算术、逻辑谜题和多跳问题上,相比直接回答,这能稳定带来大幅准确率提升。
用途与主要能力
资料将 CoT 定位为一种提示方法,主要用于数学应用题、逻辑谜题、需要组合多个事实的任务、证据需跨来源串联的多跳问答、非平凡算法的代码生成,以及任何对准确率敏感且可接受额外推理 token 成本的场景。推理轨迹还可用于调试模型错误、评估与红队测试,因为轨迹能揭示最终答案所掩盖的失败模式。
核心概念
资料区分两种形式:零样本 CoT(在提示后追加“Let's think step by step”或“Reason carefully before answering”等短语,成本极低,通常在推理基准上提升几个点)和少样本 CoT(提供带解题过程的示例演示,同时教会模型推理风格和输出格式,示例覆盖多样问题结构时最有效)。此外还有自洽性(在温度大于 0 时采样 N 条推理链,对最终答案取多数票)、最少到最多(把难题分解为较易子问题并顺序求解)和程序辅助推理(让模型编写并运行代码完成精确计算,消除散文算术这一常见失败模式)。
使用方式
资料给出的实践流程是:先测量无 CoT 的直接回答准确率作为基线;再尝试零样本 CoT;然后编写 4 至 8 个格式一致、推理正确的少样本演示,并至少包含一个处理陷阱或边界情况的示例;统一最终答案格式,使解析器可靠提取;对关键任务加入自洽性,采样 5 至 10 条链并多数投票,衡量准确率与成本的权衡;数学密集任务考虑程序辅助变体;最后不仅评估答案,还要抽样检查推理链的步骤是否有效、最终答案是否由步骤推出。部署检查清单包括:在留出数据上测量相对直接回答的准确率增量、用真实轨迹测试答案解析器、核算 CoT 显著增加输出 token 的预算、在生产中抽样监控轨迹质量、记录何时路由启用 CoT 与始终启用的决策。
适用场景与限制
资料提醒:推理链是模型生成的合理化解释,不保证是其内部计算的记录,可能包含看似合理但并未决定答案的步骤,不应视为证明;少样本演示若答案模式或模板单一,模型可能只学到模板而非推理;CoT 不适用于记忆、风格或简单查找类任务,可能反而变差;自由格式推理缺乏统一答案格式会使自动评估困难;CoT 可能使输出 token 增加 5 至 10 倍,高并发低利润任务可考虑蒸馏或按难度路由;CoT 会放大但不能创造推理能力,小型或未经指令微调的模型常产生不连贯的链;应避免让模型在推理链中做多位数散文算术;不应在所有查询上统一应用 CoT,可按难度分类器或置信度启发式路由以节省 token。