用途
Safety Engineering Foundations 用于分析系统或 AI 智能体中的危害,推导出防止不可接受损失(包括正常组件之间交互所导致的损失)的约束。分析范围限定于所请求的系统与决策;分析本身不授权任何外部动作。
适用情形包括:任务询问系统或智能体可能出什么问题;能够执行真实动作(付款、删除、部署、发送消息)的智能体需要哪些护栏;需要进行危害分析或 STPA;需要为 AI 系统构建安全案例;或需要进行超越单一根因的事故分析。
不适用情形:故障率、维修/可用性模型、FMEA 与故障树概率应使用可靠性理论;证明指定模型属性应使用形式化方法;运行事故响应与安全加固仍归其现有负责方。
主要能力
- STPA 分析:按四类(遗漏、不安全提供、时序/顺序、不适当持续时间)检查控制动作,识别不安全控制动作(UCA),并反转为控制器约束。
- 护栏设计:将护栏放在变更边界处;提示指令只影响规划器的过程模型,不约束系统本身。
- 安全案例:当决策者必须接受剩余风险时,构建论证式案例(CAE/GSN、反驳项、前沿 AI 论证族)。
- 事故分析:对过去事故运行 CAST,而非步骤 3–4。
- 保证与边界:记录证据与限制,避免将正常运行时间等同于安全。
- 标准映射:仅在通过标准映射时提及 SOTIF、ISO/PAS 8800 或 UL 4600,且绝不作为符合性证据。
- 可追溯性工作表:作为输出工件。
- 形式化方法:当控制约束需在协议模型上检查(不变量、反例)而非仅论证时使用。
使用方式
- 定义系统边界、利益相关者、生命周期阶段、不可接受损失与环境假设。区分事故/损失与危险系统状态。将每个危害反转为系统级约束(H → SC)。超过约七到十个系统级危害时,先分组,后续再细化(STPA 手册经验法则)。
- 建模控制器、受控过程、控制动作、反馈与过程模型假设。相关时纳入人类与交互控制器。
- 阅读 STPA 分析,按四类检查每个动作:遗漏、不安全提供、时序/顺序,以及适用时的不适当持续时间。
- 对每个不安全控制动作(UCA),识别上下文与危害;将其反转为控制器约束,使其可测试,并指定负责人。探查陈旧/缺失反馈、有缺陷的过程模型、冲突命令与不安全执行路径,包括正常运行的组件。
- 填写可追溯性工作表。在做出完成或安全声明前,阅读保证与边界。合成示例(回滚、支付智能体)仅作说明,不是风险估计。
- 若需要论证式案例,用安全案例构建结构。若为过去事故,运行 CAST 而非步骤 3–4。
命名深度:可逆、低影响变更只需一行危害记录;不可逆动作、资金移动或授权委托需要完整 STPA;必须接受剩余风险的决策者需要安全案例。
适用场景
- 智能体可执行不可逆动作(如支付)时的 STPA 分析:损失 → UCA → 护栏 → 绕过测试。
- 需要论证式案例的场景:CAE/GSN、反驳项、前沿 AI 论证族。
- 事故后分析:超越根因的 CAST。
- 失败源于正常工作变异或“按设计运行”时:Safety-II、韧性、STAMP。
- 控制约束需在协议模型上检查时:形式化方法。
限制
- 完成标准:每个已分析的 UCA 都链接到危害与损失、约束,以及计划或观察到的验证。记录排除场景、未知项、剩余危害、负责人与审查触发条件。没有测试证据的场景仍属提议的缓解措施。
- 不得将正常运行时间等同于安全,不得分配虚构的事件概率,不得将 STPA 图描述为证明。
- 该技能提供分析与保证结构;不认证合规、不确立可接受风险、不授予审批权限。
- 尊重已提供的授权,识别需要授权的具体额外动作,但不创建通用审批循环。
- 标准仅作指针,绝不作为符合性证据。
导航
- STPA 分析 — 四类与损失场景推导。
- 保证与边界 — 证据与限制。
- 已完成示例 — 合成回滚交互。
- 智能体 STPA:支付 — 当 LLM 智能体可执行不可逆动作时阅读;损失 → UCA → 护栏 → 绕过测试。
- 安全案例 — 当需要论证式案例时阅读:CAE/GSN、反驳项、前沿 AI 论证族。
- CAST 事故分析 — 用于超越根因的事故后分析。
- Safety-II、韧性、STAMP — 当失败源于正常工作变异或“按设计运行”时阅读。
- 标准映射 — 在提及 SOTIF、ISO/PAS 8800 或 UL 4600 前阅读;仅作指针。
- 可追溯性工作表 — 输出工件。
- 形式化方法 — 当控制约束需在协议模型上检查(不变量、反例)而非仅论证时阅读。
- 带日期的一手来源 — 经验证的来源与截止日期。