SuperAPI AI 工具集

dym-agent-desktop-route

智能体与模型

查看项目

更新于 10-18 01:23

技能介绍

dym-agent-desktop-route 是一个用于选择“控制机器”类任务正确工具的路由技能。

用途 当准备执行一个触及浏览器之外 UI 的任务、且不确定该调用哪个工具时使用。也适用于某个工具刚刚失败(AX 不可见、localhost 被拦截、ref 失效)并需要一条有理由的退路时。

使用方式 回答两个问题即可得到答案:目标位于浏览器内还是浏览器外?机器是否运行 macOS?

根据资料中的对照表:

  • 网站 / Web 应用,需要控制 DOM:使用 /playwright-verify,原因是最便宜、选择器稳定、可运行 file:// 和 localhost。
  • 多步骤网站,需要保持 session:使用 /playwright-verify 的 CDP 模式,或 /dym-browser-use repl,原因是 tab 和 cookie 在各轮之间存活。
  • 用户真实 Chrome 中的网站:使用 claude-in-chrome,原因是使用用户自己的 profile/登录;会拦截 localhost 和 file://。
  • macOS 原生桌面应用(System Settings、Finder、Numbers、Notes):使用 agent-desktop,原因是 ref 持久、skeleton、actionability、错误码可分支处理。
  • Linux/Windows 上的桌面应用:使用 orca computer,原因是 agent-desktop 仅支持 darwin。
  • Orca 应用自身的 UI、Orca 的 worktree/terminal:使用 orca-cli / orca computer,原因是同一 runtime,无需额外 binary。
  • 未开启 AX 的 Electron 应用(Teams、部分 Slack 构建):使用 launch --cdp + client CDP,原因是两个 AX 工具在“Web content”边界都不可见。

如果选择 agent-desktop → 先 /dym-agent-desktop install 再 /dym-agent-desktop drive。如果需要回执 → /dym-agent-desktop session。

实测对比(2026-09-09,macOS 24.6 arm64,agent-desktop 0.8.5)

  • 平台:orca computer 支持 macOS + Linux(orca-ide);agent-desktop 仅 darwin(SUPPORTED_PLATFORMS = ['darwin'];crate windows/linux 为 76 行 stub)。
  • 安装成本:orca computer 为 0,随 Orca 应用附带;agent-desktop 通过 npm 增加 +3.0M binary + 498K helper。
  • 元素标识:orca computer 使用 element-index,仅在一次返回中存活,其自身文档写明“short-lived, go stale”;agent-desktop 使用 @<snapshot_id>:eN,refmap 写入磁盘,可在另一进程、几分钟后解析。
  • ref 失效:orca computer 没有单独错误码,index 错误会指向错误元素;agent-desktop 返回 STALE_REF / SNAPSHOT_NOT_FOUND + recovery.strategy。
  • 窗口歧义:orca computer 自动选择一个窗口且不提示(Teams 两个窗口 → 返回 w-9249);agent-desktop 返回 AMBIGUOUS_TARGET 并列出全部候选。
  • token 成本(应用密集时):System Settings 下 orca computer 的 treeText 为 3313 字符 / 117 行,一次返回整棵树;agent-desktop 的 full -i --compact 为 24185 B / 168 ref,skeleton 为 4630 B / 27 ref 后再 drill。
  • 命令面:orca computer 约 15 条命令;agent-desktop 55 条可运行命令 / 59 个名称(surfaces、notifications、clipboard、wait、batch、session、trace)。
  • Headless:orca computer 未声明,操作走物理路径;agent-desktop 默认 headless,--headed 才会抢占焦点/移动鼠标。
  • 证据:orca computer 没有;agent-desktop 有 trace JSONL + trace export 为 HTML。
  • 多 agent:orca computer 没有概念;agent-desktop 有共享 session + AGENT_DESKTOP_AGENT_ID + 指针 lease。

规则 不要从上表读出“agent-desktop 更省 token”。在完整深度下,它每个元素比 orca computer 贵约 5 倍(JSON vs 缩进 treeText)。它节省的是轮数——skeleton + drill + ref 不失效,因此减少了从头重新 snapshot 的循环。 单轮任务、应用稀疏、读一次就结束 → orca computer 仍然胜出:0 安装、1 条命令。 多步骤任务、有 mutation、需要 verify 和回执 → agent-desktop 明显胜出。 这里没有工具能在平台上互相替代:Linux 上 agent-desktop 为零。 Web 场景不要用这两个——浏览器的 AX 是通往一个按钮的最长路径。

限制 资料未提供该技能的收费、价格、平台支持范围、效果保证或更多使用步骤;上述内容仅基于给定资料整理。