SuperAPI AI 工具集

interpreting-controlling-behavior-constitutions

智能体与模型

查看项目

更新于 10-16 06:50

技能介绍

用途:把提示词编辑与模型行为变化对应起来,形成可读的自然语言“宪法”。适用于解释模型成败原因、引导输出(如缩短长度、提升准确率、改善图文对齐)、跨模型行为对比、鲁棒性/红队测试、规模化优化提示模板。

主要能力:以原子概念编辑(ACE)为原语,对提示做 remove(c)/add(c)/replace(c,c') 三种单概念操作,经自动评分器(autorater)打 0/1 标签;再用带标签的三元组(原提示、ACE、得分)让 LLM 起草初始宪法,分“Good Strategies/Bad Strategies”两节,并通过代理分类器迭代精炼 5-20 轮,使预测与真实评分对齐。应用时提取概念、依据“Good Strategies”生成候选 ACE,最多连续 4 步并逐步评估,无需重训即可跨提示迁移(平均成功率提升 1.86 倍)。

使用方式:先定义二元 autorater;收集 100-150 条代表提示;逐条提取显式与隐式概念;系统性生成 5-15 个 ACE 并评分,积累约 400-2500 条样本;起草宪法后用误分类样本迭代精炼;在留出集验证(理想代理准确率 70-85%,Self-BLEU 越低越好);对新提示生成并应用至多 4 步 ACE;可对不同模型重复以比较行为差异。

适用场景:数学难度、图文对齐、简洁输出等可由自动二元指标衡量的任务。

限制:需目标模型查询权限与 500-2500+ 次调用预算,不适合一次性提示;宪法为经代理过滤的相关性模式,小样本或偏差可能引入伪策略;主观质量(创意、幽默、语气)依赖可能不可靠的 autorater;跨差异大的领域不保证迁移;精炼需 GPT-4 级别能力模型。