用途:面向跨应用的端到端计算机自动化,覆盖浏览器、文件系统与原生桌面界面,帮助在 DOM、视觉、shell 与原生自动化之间做出选择。
主要能力:浏览器自动化为主轨道,使用浏览器 MCP 工具、DOM 快照、脚本与截图;文件系统操作优先用 shell(rg、ls、find、mv、cp 等);原生桌面自动化用于 DOM/API 之外的交互,如 xdotool、xprop、xwininfo。内置经验学习库 references/learnings/,按主题 slug 组织 lessons.md 与 experience-log.md,支持持续学习循环。
使用方式:遵循优先级阶梯——先复用已有 lessons.md,失败时只用其中记录的降级路径,无人工门禁时进行有界自学习,找到可靠路径后更新 lessons.md 与 experience-log.md。浏览器流程需始终传递 tab_id,顺序为 open_tab、navigate_to、dom_snapshot/run_script、动作、验证、截图。遇到登录、2FA、CAPTCHA、安全或策略门禁时暂停并请求人工介入,可用 speak 发出提示。
适用场景:跨浏览器与桌面的自动化任务,如发布到 X、LinkedIn、小红书、Google Flow 等,以及文件上传、同意弹窗处理等。
限制:不尝试绕过 CAPTCHA 或反机器人检查;原生自动化仅用于跨应用边界;每步需状态与视觉双重验证;具体命令片段与降级模板需参考 references/computer-use-techniques.md,资料未提供完整代码示例。