SuperAPI AI 工具集

ui-automation

测试与质量

查看项目

更新于 10-15 20:12

技能介绍

用途:当任务需要“看屏幕”或“操作 GUI”时,把自包含任务派发给外部 Codex 代理,由其自带模型及 browser-use、computer-use 插件执行。适用于部署后 UI 验收、页面渲染检查、浏览器 devtools 检查、无可用 CLI 的 GUI 应用操作,以及产物(渲染、导出、录屏)本身即交付物的任务。若任务可完全用 shell 命令和文件读取完成,或目标是编写自动化代码(测试套件、Playwright/Cypress 脚本、爬虫),则不应使用本技能。

主要能力与流程:先界定范围,写明 URL、应用名或路径、可检查的编号期望、需要的产物;再准备运行目录,例如 RUN_ID="$(date +%Y%m%d-%H%M%S)-<slug>"、RUN_DIR="$PWD/.codex-runs/$RUN_ID",并创建 shots 与 out 子目录、复制 output-schema.json。派发命令为 codex exec --skip-git-repo-check -C "$PWD" --output-schema "$RUN_DIR/schema.json" -o "$RUN_DIR/result.json" "<prompt>",提示中需重申契约:只在 RUN_DIR 内工作、截图存为 shots/NN-<short-name>.png、其他产物存 out/、失败结论须引用已保存截图路径。可选标志包括 --json、-i <file>、-m <model>、--add-dir <dir>、-s <mode>,以及 resume --last 追问最近线程。任务耗时数分钟,建议后台运行。

证据回收与限制:读取 result.json 获取结构化结论,并用图像读取工具亲自查看截图,未查看的结论不得转述;失败结论若无截图应视为未验证并重新派发。硬性约束包括:证据优先于文字描述,产物必须落盘于工作区而非 /tmp;一次派发一个自包含任务,线程之间无连续性;无人值守,无法向人提问;取消不回滚已改文件或外部系统;不得让两个代理同时操作同一屏幕。Web 任务优先用浏览器(Chrome over CDP),原生桌面应用才用 computer use;终端启动的进程通常无 macOS 屏幕录制权限,shell 截图工具会失败。派发报模型或能力错误时,可检查 codex --version 与 codex debug models。参考文件 contract.md、output-schema.json、ui-acceptance.md、desktop-app-task.md 按需加载。