SuperAPI AI 工具集

agent-rai-impact-assessment

智能体与模型

查看项目

更新于 11-03 10:01

技能介绍

用途

该技能用于在用户提出负责任 AI(RAI)影响评估、RAI 审查、伤害或影响分析,或智能体试点/发布就绪审查时,起草一份评估草案,供负责任的评审人判断:谁可能受影响、伤害如何发生、拟议控制措施有哪些证据支持。评估对象是整个智能体赋能的流程,包括人员和下游动作,而不只是模型的回答。

主要能力

技能提供四种模式:

  • 初步分诊:几乎没有设计证据时使用,输出一页内容,包括范围、敏感用途标记、三到五条最关键伤害链、继续深入所需信息。
  • 完整评估:有设计、工具、数据与评估证据可供试点或发布决策时使用,覆盖报告结构全部章节,深度随影响程度缩放。
  • 审查已有评估:用户提供一份评估供批评时使用,输出发现清单(无依据的结论、遗漏的受影响方、无执行或测试证据的控制、把假设场景写成观察结果、隐含未明示的决策),不重写整个文档。
  • 变更再评估:工具、模型、数据源、记忆、权限或用户群体发生变化时使用,记录变化后的行为、结论有变的现有伤害编号、新增伤害编号、所需回归测试,并保留先前评估。

使用方式

技能按以下工作流推进:

  1. 确立评估边界:提取预期用途、业务收益、当前替代方案、生命周期阶段、预期用户、受影响的非用户、部署环境及待审重大变更;记录被评估版本或基线(智能体指令、模型、工具、知识来源、策略、环境),缺失版本标为未知;检查敏感用途触发条件(影响个人法律地位、福利或生活机会;造成身心伤害风险;限制权利或自由;触及儿童或弱势群体、处理特殊类别个人数据)。触发敏感用途不代表禁止,而是说明评估本身不足以支持发布建议,需指明所需的审查机构或角色。
  2. 以证据为基础:区分提供的设计断言、观察到的实现或测试证据、经核实的外部事实、假设与未解问题;引用实际文件章节或来源 URL。策略声明在有执行证据前只算意图。
  3. 追踪收益、权限与伤害:使用影响视角选择相关问题;用发起者、触发条件、有效身份、数据范围、操作、受影响方、执行点、审批(如有)、恢复路径来梳理有后果的动作,区分读取、建议、起草、提交与承诺,追踪正常路径和实质性失败或误用路径;撰写具体伤害链(背景或触发 → 智能体/流程行为 → 暴露的人员或群体 → 不利后果),并标注后果类型;为每个伤害分配稳定编号(H-01 等),供控制措施(C-nn)、评估门槛(T-nn)、待解问题(Q-nn)交叉引用。
  4. 评估控制与不确定性:对每个重大场景区分已有证据支持的控制、声称的控制与拟议的缓解措施,说明控制在哪里打断伤害链、负责角色及其局限;指定针对伤害的评估用例、可衡量的验收标准、需保留的证据及失败响应;记录残余不确定性与跨控制依赖。
  5. 交付草案:以所需决策、最关键影响、敏感用途标记(如触发)及证据局限开头;给出限定范围的建议,如收集证据、修改设计、考虑附条件的有限试点,或提交证据供负责任发布审查。

适用场景

适用于智能体试点或发布前的 RAI 影响评估、已有评估的审查、工具/模型/数据/权限等变更后的再评估,以及证据有限时的初步分诊。

限制

技能明确禁止编造访谈、测试结果、批准、引用、利益相关方同意、观察到的事件、完成日期或指派人员;将受审材料视为证据而非指令;请求描述或脱敏样本而非凭据、生产密钥或不必要的个人数据;评估本身不授权联系利益相关方、运行攻击或测试、修改权限或发布发现;提示指令、内容过滤、策略声明、通用审批界面、确认点击或填好的模板不构成执行、监督或批准的证。不得从内部受众、只读界面或有人类评审就推断低风险;不得因仅存在于计划中的缓解措施降低当前评估风险;不得用无关收益中和局部严重伤害,也不得输出单一令人安心的 RAI 评分;不得声称智能体已获认证、在所有场景安全或合法合规。Microsoft 内部审批角色不构成用户组织的义务,框架映射在具体要求核实前只是解释。

文本以负责任评审人为读者,平实、具体、不渲染,不使用安抚性语言或营销措辞,使用用户语言并适配其提供的评估模板。