用途:Guardrail Design 关注如何为 AI 产品定义行为边界,即 AI 应当做什么、不应当做什么。资料强调护栏不只是安全约束,而是塑造整体用户体验的设计决策。
主要能力:资料将护栏分为五类。内容护栏界定 AI 可讨论与拒绝生成的话题;行动护栏界定 AI 在现实世界能做什么(如发邮件、购买、删除数据)以及哪些需要人工批准;语气护栏界定沟通方式,包括用词、正式或随意、直接或委婉;范围护栏界定角色内外的边界,例如编程助手不应给出医疗建议;置信度护栏界定 AI 何时应表达不确定、留有余地或拒绝而非猜测。
设计取舍:每条护栏都是带权衡的产品决策。过严会让产品受限、令人沮丧且家长式,用户会绕过护栏;过松会造成伤害、失去信任并带来责任风险;不一致则让用户无法预测 AI 行为,侵蚀信任。目标是让护栏像良好的判断力,而非武断的限制。
规格要素:每条护栏需定义它阻止什么(被约束的具体行为或输出)、为何存在(防止的伤害或保护的价值)、如何体现(护栏触发时用户看到什么,如拒绝消息、替代建议、升级)、边缘情况(可能过严或过松的灰色地带)、覆盖条件(是否及如何放宽,如管理员设置、用户确认、依赖上下文)。
沟通方式:资料列出透明拒绝(说明因何无法帮助)、重定向拒绝(不能做 X 但可帮助 Y)、静默护栏(不提及边界而引导离开)、升级(交由人工审核而非直接拒绝)。
设计产物:包括护栏规格表(类别、规则、理由、用户体验、边缘情况)、按护栏类型的拒绝消息模板、护栏严重度分级(硬阻止、软警告、提示)、以及每条护栏的测试场景。
限制:资料未提供具体实现代码、安装命令、平台支持、收费或价格信息,也未给出可直接套用的完整模板内容。