用途：Constitutional AI（CAI）通过自我批判与 AI 反馈训练模型变得无害，核心是让模型依据一套“宪法”（原则集合）批判并修订自身回答，无需为有害输出提供人工标签。
主要能力：两阶段流程。监督学习阶段进行自我批判与修订；强化学习阶段使用 RLAIF（RL from AI Feedback）。支持思维链批判以提升推理透明度，并可用多模型评估与多数投票降低偏好噪声。
使用方式：监督学习阶段先用生成器产出初始回答，再按宪法提示生成批判，据此修订回答，最后用 TRL 的 SFTTrainer 在修订数据上微调。RL 阶段先采样多组回答，用 AI 偏好评估选出更符合宪法的回答，再用 RewardTrainer 训练奖励模型，最后用 PPOTrainer 做 RLAIF 训练。思维链批判通过分步询问是否有帮助、诚实、无害、避免毒性来生成修订建议。
适用场景：希望无需人工标签完成安全对齐、需要可解释的 AI 决策、希望避免回避式拒绝、已有明确原则/宪法、需要可扩展安全训练时适用。若需人工验证安全可用 RLHF（PPO），有人类偏好数据可用 DPO/SimPO，需运行时内容过滤可用 NeMo Guardrails，需预训练审核模型可用 LlamaGuard。
限制与常见问题：模型可能过度拒绝，可在宪法中加入“倾向深思熟虑地回应而非拒绝”的原则；自我批判可能较弱，可用更强批判提示；修订质量不提升可多轮迭代；RLAIF 偏好有噪声可用多评估器多数投票。硬件建议 NVIDIA A100/H100，7B 模型 SL 阶段约需 1×A100 40GB，RL 阶段约需 2×A100 40GB，推荐 BF16 混合精度。论文见 https://arxiv.org/abs/2212.08073，Anthropic 博客见 https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback，实现使用 TRL（PPOTrainer + RewardTrainer）。