用途:为浏览器自动化、操作系统自动化、CLI 智能体及自动化流水线增加超越简单动作黑名单的安全约束,尤其适合动作局部看似安全、但下游造成不可逆损害,或需要步骤级干预与任务级重规划的场景。
主要能力:SafePred 区分状态预测与风险预测,采用三阶段流水线——从自然语言文档结构化安全策略、为每个候选动作预测即时界面/系统变化与长程结果、将策略违规转为风险评分并驱动步骤级反馈或整体任务重规划。世界模型输出短期状态 s_{t+1}(文件、命令输出、UI 变化)与长期自然语言评估 z_{t:T}(是否推进任务、产生技术债、安全暴露或不可逆变更)。风险评分 r_t 按违规严重度聚合,未超阈值则执行,全部候选超阈值则生成风险指导与计划指导。该机制还能识别无进展循环(如重复点击同一按钮),并记录每个动作、预测、违规、评分与决策以供审计。
使用方式:先定义带 ID、自然语言描述、严重级别与可逆性的策略集;为候选动作构建包含系统状态、动作、任务意图、策略、近期轨迹(约 5-7 步)与执行计划的输入;调用 LLM 或微调模型生成短期 JSON 增量预测与长期结果评估;由风险评估器判定违规并计算评分,按阈值决定执行、拦截并注入风险指导,必要时触发任务级重规划。环境不同可调整阈值。
适用场景:需安全约束的浏览器/OS/CLI 智能体、部署与配置脚本护栏、防止密钥硬编码、检测循环行为、构建安全评估测试框架。
限制:预测准确性依赖底层模型,8B 模型约 85%,前沿模型约 95%;无法预测全新失败模式;每个动作增加 LLM 推理延迟;策略覆盖范围决定上限;不能替代沙箱、权限边界与人工升级;策略集为空应拒绝运行。论文信息与具体命令示例未在本资料完整给出。