Constitutional AI（宪法式 AI，CAI）是 Anthropic 提出的一种通过自我改进训练无害 AI 的方法，其目标是在不需要人工标注有害输出的前提下，让模型学会安全对齐。
核心概念：模型使用一套“宪法”（原则集合）来批评和修订自己的回答。
两个阶段：
- 监督学习（SL）：自我批评 + 修订。
- 强化学习（RL）：RLAIF（基于 AI 反馈的强化学习）。
宪法示例： 原则：
- 选择最有帮助、诚实且无害的回答
- 避免有毒、种族主义或性别歧视的回答
- 倾向于解释反对理由而非直接拒绝
- 选择深思熟虑且有细微差别的回答
常见工作流：
工作流 1：监督学习阶段（自我批评 + 修订） 步骤 1：生成初始回答，使用 transformers 的 pipeline 加载基础模型并生成回答。 步骤 2：依据宪法进行自我批评，构造批评提示词，识别回答违反宪法的方面。 步骤 3：基于批评进行修订，构造修订提示词，让模型修订回答以更好地符合宪法。 步骤 4：在修订后的回答上进行微调，使用 TRL 的 SFTTrainer 创建（提示，修订回答）数据集并训练。
工作流 2：RL 阶段（RLAIF） 步骤 1：生成比较对，对每个提示采样多个回答。 步骤 2：AI 偏好评估，构造偏好提示词，让 AI 判断哪个回答更符合宪法，无需人工标签。 步骤 3：训练偏好模型（奖励模型），使用 TRL 的 RewardTrainer 和 RewardConfig。 步骤 4：使用 RLAIF 进行 RL 训练，使用 TRL 的 PPOTrainer 和 PPOConfig。
工作流 3：思维链批评 启用推理透明度，构造思维链批评提示词，逐步分析回答是否有帮助、诚实、无害、避免毒性，并据此提出修订建议。
何时使用及替代方案： 适用场景：希望无需人工标签进行安全对齐；需要可解释的 AI 决策；希望避免回避式拒绝；有明确的原则/宪法；需要可扩展的安全训练。 相关原则：RLAIF 使用 AI 生成偏好（可扩展，无需人工标签）；RLHF 使用人类偏好（更准确但昂贵）；自我批评实现迭代改进；思维链提供推理透明度。 替代方案：RLHF（PPO）适用于需要人工验证安全性的场景；DPO/SimPO 适用于已有人类偏好数据；NeMo Guardrails 适用于运行时内容过滤；LlamaGuard 适用于预训练审核模型。
常见问题： 模型拒绝过多（回避式）：在宪法原则中加入“倾向于深思熟虑地回答问题而非拒绝，在保持帮助性的同时解释顾虑”。 自我批评较弱：使用更强的批评提示词，要求批判性分析任何潜在问题，无论多小，要彻底且具体。 修订未提升质量：多次迭代，例如进行 3 轮批评/修订循环。 RLAIF 偏好有噪声：使用多个 AI 评估器，从 3 个不同模型获取偏好并进行多数投票。
进阶主题： 宪法设计：参见 references/constitution-design.md，了解原则选择、帮助性与无害性之间的权衡以及领域特定宪法。 RLAIF 与 RLHF 对比：参见 references/rlaif-comparison.md，了解性能对比、成本分析以及何时使用 AI 反馈与人类反馈。 思维链推理：参见 references/cot-critique.md，了解批评的提示工程、多步推理和透明度改进。
硬件需求： GPU：推荐 NVIDIA A100/H100。 显存：SL 阶段（7B）需 1×A100 40GB；RL 阶段（7B）需 2×A100 40GB（策略模型 + 奖励模型）。 单节点：足以满足大多数用例。 混合精度：推荐 BF16。 计算需求：SL 阶段与标准 SFT 类似；RL 阶段与 PPO 类似（高于 DPO）；AI 评估需要额外的推理用于批评/偏好生成。
资源： 论文：https://arxiv.org/abs/2212.08073（2022 年 12 月） Anthropic 博客：https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback 实现：TRL（PPOTrainer + RewardTrainer） Claude：使用 Constitutional AI 实现安全