SuperAPI AI 工具集

human-in-the-loop

设计与创作

查看项目

更新于 10-15 19:50

技能介绍

用途:为会执行真实世界动作(涉及金钱、消息、数据变更)的 LLM 智能体设计人工门控,明确在哪里、何时、以何种方式让人类审批、复核或兜底,避免把智能体变成只会点“批准”的慢按钮。适用于受监管流程(医疗、法律、金融、HR),或团队在事故后想加全量审批、又因吞吐下降想撤掉门控的场景。

主要能力:按动作分级——自动执行(只读、低影响、可逆)、通知(执行后告知,抽样查错)、确认(执行前同步人工批准)、复核(执行后异步抽样审查)、仅可覆盖(智能体自主执行,人类可暂停或回滚)。分级依据失败成本、可逆性、频率、可检测性。提供决策流程:可低成本逆转则自动执行加通知或抽样复核;不可逆或失败代价高则设确认门控;高频动作则收窄门控范围,只批高风险子集。

常见模式:置信度门控确认、金额或影响阈值分级、抽样复核、提议与提交分离、升级到专业队列而非聊天频道、限时自动批准或拒绝。

限制与风险:审批疲劳、走过场审批、升级瓶颈、非工作时间失效、无申诉路径、用智能体审查智能体不算人工在环。反模式包括全量审批、缺少决策上下文的审批界面、在聊天里输入 yes 确认、基于聊天频道的升级、无超时、无审计轨迹、把人工在环当合规摆设。硬性标准:若人类无法在 30 秒内凭所给上下文做出真实决定,该门控就是表演,应先设计上下文再设计门控。资料未提供具体安装命令或代码示例。