SuperAPI AI 工具集

agent-incident-postmortem

智能体与模型

查看项目

更新于 10-16 09:33

技能介绍

用途:为 AI 智能体或 LLM 功能引发的事故编写无责事后复盘。此类事故不同于服务宕机——系统没挂,而是自信地做错了事,甚至只发生一次,因此需要轨迹而非步骤来复现。

主要能力:产出无责复盘文档,含时间线与用户/业务影响;重建智能体看到、决定、执行了什么;跨 AI 失效层做根因分析(不把“模型幻觉了”当结论);给出整改措施,且始终包含在回归测试集中新增永久用例。

必要输入:智能体做了什么与本应做什么;轨迹(系统提示、上下文、工具调用与结果、输出),若没有轨迹,缺失本身就是一项发现;影响范围(多少用户/请求、时间窗、是否仍在持续);检测方式及开始后多久被发现。

根因分层:依次走过输入/上下文(上下文是否错误、过期、矛盾或被注入污染)、模型行为(在该上下文下属可预见的失效模式)、护栏(哪个校验本应拦截却不存在或未触发)、动作层(错误输出为何能变成真实动作或触达用户)、检测(为何这么晚才发现)。根因通常是能最早阻止影响的那一层。

非确定性纪律:用轨迹复现而非轶事,重放精确上下文并重复 N 次测量频率;重放时固定模型版本、提示版本、温度、工具结果;无法复现就明说,把轨迹作为证据,频率标为未知而非“罕见”。

输出格式:含严重级别、状态、负责人、摘要、影响、时间线、轨迹重建、按层根因表、复现、整改措施表(动作/层/负责人/截止)、做得好的与侥幸的部分。

质量检查与反模式:对人无责但对系统有用,“提示工程师失误”“模型幻觉”均禁止作为结论;根因要指出最早可阻止影响的层;文档须含轨迹或说明其缺失;频率须测量或明确标为未知;整改须含永久回归用例与至少一项检测改进。不要把“改进提示词”作为唯一动作,不要用一次重放评估频率,窗口含不可信文本时不要跳过注入问题,不要用“下个模型版本会更好”关闭行动项(升级是迁移而非修复),不要写成宕机报告。

适用场景:智能体幻觉内容上线、工具失控调用、提示注入、成本超支等事故复盘。限制:资料未提供具体安装方式、平台支持范围、收费信息及完整代码示例,暂未提供。