Droid Control 用于自动化终端 TUI、浏览器和原生桌面应用,适用于测试、演示、QA 与 computer-use 任务。它先按用户请求的方法路由,再只加载所需的机制与证据阶段。
主要能力:通过 tctl 包装 asciinema 录制终端会话,默认使用 tuistory 后端,需要真实终端渲染或键盘编码证据时加载 true-input;浏览器与桌面驱动各有独立生命周期(agent-browser、cua-driver),不使用 tctl。工作流分为捕获(capture)、合成(compose)、验证(verify)阶段,合成时可加载 showcase 做展示润色。
使用方式:先做目标、阶段、产物三类路由查询,再加载对应技能。每次运行需生成 RUN_ID 并创建独立临时目录,会话名与输出路径加前缀,避免并发冲突。终端工作流需将 TCTL 解析为绝对路径。委派时父级保留交互式桌面控制,独立捕获环境或 Remotion 渲染可交给 worker,并传入解析后的绝对路径与具体命令。
限制:真实环境存在非确定性行为,需用 wait / wait-idle 处理,不得用夹具或模拟数据替代。失败或不确定后应先观察状态再重试,遵守方法约束与权限边界。共享桌面焦点与键盘输入无法靠命名隔离,一个可见桌面只保留一个控制器。不得为凑 side-by-side 而伪造 before 状态。
依赖:terminal-use 需 tuistory、asciinema、agg;true-input 在 Linux/Wayland 需 cage、wtype,可选 grim、wf-recorder;Windows 需 libvirt、qemu、KVM 虚拟机;macOS 需 qemu、socat;browser-use 需 agent-browser;desktop-use 需 cua-driver;compose 需 ffmpeg、ffprobe、agg;showcase 需 Node.js >= 18 与 Chrome/Chromium。安装命令见资料,例如 npm install -g tuistory、pip install asciinema、agent-browser install、sudo apt-get install -y ffmpeg。