用途:Harm Anticipation(伤害预判)是一种在产品设计阶段系统梳理 AI 可能造成何种伤害的方法,属于预防式设计而非事后危机管理。它适用于 AI 产品的风险规划、模型更新后的复审以及规模化前的评估。
主要能力:
- 伤害分类:直接伤害(输出危险建议、歧视内容、隐私侵犯)、促成伤害(AI 帮助用户做有害之事)、涌现伤害(规模化或交互效应产生)、不作为伤害(该行动时未行动、未上报)、侵蚀伤害(依赖、技能退化、操纵、信任流失)。
- 五重视角结构化预判:谁可能受伤害、如何受伤害(身体、情感、财务、声誉、隐私、自主性)、可能性(常见场景/边缘场景/对抗攻击)、严重性、可检测性(明显即时 vs 隐蔽延迟)。
- 误用场景:从对抗者视角思考故意滥用、最易提取有害输出的方式、操纵欺骗胁迫的可能、用户谎报意图、规模化自动化后的结果。
- 二阶后果:百万级用户时会发生什么、用户会丧失哪些技能、是否造成不公平优势、权力关系如何变化。
决策规则:按“频率×严重性”打分,而非只看严重性;每项伤害需有可证伪测试(如“若 AI 对 Y 类用户做 X,系统应 Z”),写不出测试说明伤害定义不够精确;在最低可行层级缓解(输出过滤<约束提示<缩小功能范围<不做该功能);每次规模跃迁后重新预判;以最弱势用户定义底线;探索期优先可逆缓解。
反模式:把预判文档当交付物写完就不再打开;只关注灾难性伤害;只假设恶意行为者而忽略善意用户在意外情境中的伤害;清单式打勾缓解;把责任外部化给服务条款;单一维度思考;依赖用户察觉或上报的“乐观式缓解”。
限制与不适用:不用于常规 UX 小问题(加载慢、文案别扭),那应使用失败分类或用户满意度信号;不用于纯技术可靠性(延迟、可用性),那属 SRE;不能替代红队测试(预判是规划活动,红队是探测活动,二者都需要);也不应只在发布时做一次性审计,而应持续进行。资料未提供具体安装命令、使用步骤或平台支持信息。