SuperAPI AI 工具集

anycap-human-interaction

通用与其它

查看项目

更新于 10-15 16:51

技能介绍

AnyCap Human Interaction 用于把人类引入工作流,通过可视化标注与录屏收集结构化反馈。开始前需完整阅读该文件,并先安装与认证 AnyCap CLI(参考 anycap-cli 技能);媒体生成流程参考 anycap-media-production 技能。

两种核心场景:URL/网页审阅适用于网页、本地开发服务器和实时 UI,主要产物是带讲解的录屏,可浏览、标注并解说,录屏记录全部内容;图片协作审阅适用于生成图片、截图和设计,主要产物是合并反馈后的标注图片,多名审阅者可实时同时标注。两者都支持 Rect、Arrow、Point、Freehand 标注工具和文字标签,区别在于返回结果与审阅方式。

常用命令:anycap annotate <target> [-o output.png] 为阻塞模式,打开浏览器并等待 Done 点击后输出结果;加 --no-wait 为非阻塞模式,启动后台服务并返回会话信息;之后用 anycap annotate poll --session <session_id> 轮询结果,用 anycap annotate stop --session <session_id> 停止服务,anycap annotate list 列出所有活动会话以便上下文丢失后恢复。target 会按内容自动识别为图片、URL、视频或音频。

关键参数:--no-wait 非阻塞模式(推荐给智能体)、-o/--output 指定标注图片保存路径、--port 绑定固定端口、--bind 绑定地址。建议跨会话使用固定端口(如 --port 8888),因为浏览器按来源(主机+端口)在 localStorage 中保存显示名,固定端口可自动识别回访协作者。阻塞与非阻塞模式都会尝试用默认浏览器打开标注 URL;在 SSH、容器等无头环境中,CLI 会将 URL 打印到 stderr 且不报错。

向人类展示时会话时,应按情境自然措辞而非套用模板:提示页面是否已自动打开,无头环境则给出 URL 和访问方式;务必提醒完成后点击 Done;URL 模式要强调录屏(Rec 按钮),因为该模式无法导出标注截图,录屏才是主要产物;多人参与时说明实时协作且每人可独立保存(URL/iframe 模式除外,它仅限单人)。使用 --bind 0.0.0.0 时应分享实际主机 IP,SSH 场景可建议端口转发。还需简要说明可用标注工具及每个标注可附带文字标签。

无头/远程访问时,人类无法直接访问 127.0.0.1,可用 anycap annotate screenshot.png --no-wait --bind 0.0.0.0 --port 8888,再通过 http://<server-ip>:8888、SSH 端口转发、容器端口映射或反向代理访问。标注 UI 兼容带任意路径前缀的反向代理,资源、API 和 WebSocket URL 均相对页面 URL 解析,代理传递的查询参数会自动保留,服务端无需额外配置。

何时使用标注:生成了图片/视频且需要人类指出修改位置、构建或修改网页需要视觉审阅、需要带空间位置的反馈、纯文字反馈对位置或视觉细节有歧义、希望人类录一段带解说的走查时。仅在需要是/否批准或反馈纯文本时,不应使用标注。

所有标注工作流遵循同一模式:智能体以 --no-wait 启动会话,CLI 返回 session、url、session_file、poll_command、stop_command,智能体把 URL 与指引交给人类,人类标注、录制并点击 Done,确认后智能体执行 poll_command 获取标注与录屏,处理反馈后执行 stop_command。Done 按钮行为因模式而异:阻塞模式下点击 Done 结束会话并立即返回结果;非阻塞模式下点击 Done 只保存反馈不结束会话,后续每次 Done 会覆盖上次保存结果,智能体需轮询获取最新状态。多人协作模式(图片、视频、音频)中每位审阅者可独立保存,轮询结果反映最近一次保存。

会话状态保存在工作目录的 .anycap/annotate/<session_id>.json(启动响应中的 session_file)。若上下文重置后丢失会话 ID 或命令,可运行 anycap annotate list,输出包含每个会话的 poll_command 和 stop_command,无需手动读取会话文件即可恢复。

URL/网页审阅:适用于构建或修改了网页、UI 或其他浏览器可访问内容后需要人类视觉审阅。URL 模式为单人模式,因跨域 iframe 限制无法导出标注截图,带讲解的录屏是主要反馈产物,多人光标和标注会令录屏混乱,因此隐藏客户端名称标签与同伴指示器。人类可在标注框架内浏览页面、在其上绘制标注并录制带解说的走查。启动示例:anycap annotate http://localhost:3000 --no-wait 或 anycap annotate https://staging.example.com --no-wait。收集时先轮询结果,检查是否存在录屏,可用 anycap actions video-read --file "$RECORDING" --instruction 让 AI 视频理解列出用户指出的问题,同时读取文字标注,最后停止会话。录屏可能为空:Rec 按钮依赖浏览器 getDisplayMedia API,需用户授予屏幕共享权限,若拒绝或未点击 Rec,轮询结果中不会出现 recording 字段,使用前应先检查;文字标注始终可用。应用该反馈通常对应代码修改而非图片生成:根据视觉反馈确定需改文件、修改代码、停止上一会话、为新内容开启新一轮会话供验证,并在消息中标注轮次进度。录音分析可用 video-read 提取问题、UI 元素状态与期望变更,或按优先级分类反馈。

图片协作审阅:适用于生成图片后需一人或多人标出期望修改,优势在实时多人协作,多位审阅者可打开同一 URL 同时标注并实时看到彼此光标与绘图。多人协作仅限图片、视频和音频模式;URL/iframe 模式仅单人。启动示例:anycap annotate hero-banner.png --no-wait -o hero-banner-annotated.png,多人审阅可加 --bind 0.0.0.0 --port 8888。收集后可提取非空标注标签拼接为图生图提示,再以 anycap image generate 的 image-to-image 模式应用修改,最后停止会话。完整的图生图迭代循环参见 anycap-media-production 技能。

视频审阅:适用于生成或审阅视频内容,人类可暂停在任意帧并标注,标注图片输出为暂停帧上叠加所有标注的快照。启动 anycap annotate output.mp4 --no-wait,提示人类在关键处暂停、绘制标注、可选录制解说并点击 Done。轮询获取标注作为该帧的空间反馈,若有录屏可用 video-read 分析含时间戳的反馈,最后停止会话。视频反馈通常对应调整提示后重新生成,或在模型支持时做帧级编辑。

音频审阅:适用于生成音乐或音频后收集反馈,人类看到音频播放器和下方画布。启动 anycap annotate track.mp3 --no-wait,提示播放音频、在画布上标注时间段或段落、添加描述期望变更的标签并点击 Done。轮询读取标注标签作为期望的音频变更,若有录屏则用 video-read 分析解说反馈,最后停止会话。音频反馈通常对应调整提示后重新生成,而非空间编辑。

迭代审阅循环:智能体产出成果后开启标注会话,人类审阅标注,智能体收集反馈并应用修改,如有更多修改则再次开启会话,否则交付最终结果。建议对输出做版本号(v1、v2、v3)便于比较,在修改中引用先前反馈,经过 2 到 3 轮后汇总全部修改以确认无遗漏。

选择场景:构建或修改了网页时使用 URL 审阅(单人),因为修改通常映射到代码变更并以录屏为主要反馈;生成了图片、视频或音频时使用对应的协作标注模式,可获得空间或时间定位反馈并支持多人实时协作。资料未提供具体计费、价格与平台支持范围的说明。