用途：Constitutional AI（CAI）用于在无需人类标注有害输出的情况下，训练模型变得更无害。核心思路是让模型依据一套“宪法”（原则集合）对自身回答进行批判与修订。
主要能力：分为两阶段。监督学习（SL）阶段做自我批判加修订；强化学习（RL）阶段采用 RLAIF（RL from AI Feedback）。宪法原则示例包括：选择最有帮助、诚实且无害的回答；避免有毒、种族主义或性别歧视内容；倾向于解释反对理由而非直接拒绝；选择深思熟虑且有细微差别的回答。相关能力还包括链式思考式批判，提升推理透明度。
使用方式：SL 阶段先用 transformers 的 pipeline 生成初始回答，再用宪法提示做自我批判，随后根据批判生成修订回答，最后用 TRL 的 SFTTrainer 在（提示, 修订回答）数据上微调。RL 阶段先为每个提示采样多个回答，用 AI 偏好评估选出更符合宪法的回答，解析出 chosen/rejected 后，用 TRL 的 RewardTrainer 训练偏好奖励模型，再用 PPOTrainer 做 RL 训练。链式思考批判通过分步询问是否有帮助、诚实、无害、避免有毒来给出修订建议。
适用场景：希望无需人类标注即可做安全对齐；需要可解释的 AI 决策；希望避免回避式拒绝；已有一套明确原则/宪法；需要可扩展的安全训练。
对比与限制：RLAIF 由 AI 生成偏好，可扩展、无需人工标注；RLHF 使用人类偏好，更准确但昂贵。需要人工验证安全时可用 RLHF（PPO），有人类偏好数据时可用 DPO/SimPO，需要运行时内容过滤可用 NeMo Guardrails，需要预训练审核模型可用 LlamaGuard。
常见问题：模型拒绝过多时，可在宪法中加入“倾向于深思熟虑地回应而非拒绝”的原则；自我批判太弱时，使用更强的批判提示；修订质量不提升时，可多轮迭代批判/修订；RLAIF 偏好有噪声时，可用多个 AI 评估器并多数投票。
硬件要求：推荐 NVIDIA A100/H100。显存方面，SL 阶段（7B）需 1×A100 40GB；RL 阶段（7B）需 2×A100 40GB（策略模型加奖励模型）。单节点足以应对多数用例，推荐 BF16 混合精度。计算量上，SL 阶段类似标准 SFT，RL 阶段类似 PPO（高于 DPO），AI 评估还会带来额外的批判/偏好生成推理开销。
资源：论文 https://arxiv.org/abs/2212.08073（2022 年 12 月）；Anthropic 博客 https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback；实现使用 TRL（PPOTrainer 加 RewardTrainer）；Claude 使用 Constitutional AI 实现安全。其他具体收费、价格与平台信息暂未提供。