SuperAPI AI 工具集

typesafe-computer-use

办公与效率

查看项目

更新于 10-29 04:36

技能介绍

typesafe-computer-use(简称 jev)是一个针对 awlevin/typesafe-computer-use 仓库固定提交(44ca11f0935b021b73020825da054b5c92cc1288)的技能说明,覆盖该仓库的 clicker、clicker-inspect、clicker-bench 命令契约、适配器、决策循环、出口边界及运行证据。使用前应先阅读 references/upstream.md 了解命令参数、端点变量与源码契约。

主要能力:

  • 离线预检:运行本地脚本检查 Python >=3.12、uv、静态 Chrome 或操作系统适配器路径、受支持主机类型;给定 --repo 时还检查公开源码形态与调用者指定的提交。预检不打开屏幕、不读取账户/配置/密钥、不启动或检查进程/会话、不检查权限,也不代表服务方已就绪。
  • 权限分级:区分证据模式(dry-run、--image 回放、仅 fixture 的浏览器循环)与副作用模式(--act、实时 URL/导航、输入、点击、按键、滚动、离屏无障碍按压)。分类器选择或写作模型回答只是建议,不能作为动作已发生的证据。
  • 出口管控:桌面分类步骤会将目标派生的 OCR、无障碍标签/角色/状态、焦点字段元数据、前台应用/浏览器 URL、日期/布局事实及近期历史发送到配置的 TypeSafe 目标;即使没有写作截图,可见桌面文本也可能离开本机。需逐步单独批准该出口,模型 PNG 上传需另行批准。不要提交或广泛共享运行文件夹。
  • 接管边界:执行 --act 前需确认目标、前台应用/浏览器、允许站点、账户/会话以及输入点击是否可以提交变更;在登录、支付、购买、发送、账户/安全或任何不可逆界面应停止或要求人工介入;不得输入或发送凭据、OTP、银行卡、私钥或未经审查的个人数据。
  • 源码防护:密码字段会被拒绝;type_email 需要 CLICKER_EMAIL;浏览器输入拒绝凭据/密钥/卡标签;导航仅接受带主机名的干净 HTTPS URL;实时操作应显式设置 --steps、--min-confidence、--delay 与 --handoffs;可使用 Ctrl-C 或鼠标移到左上角中止,实时运行期间不要使用该机器。
  • 结果报告:优先采用本地 fixture/回放证据;运行后检查保存的文件夹及 run.json 中 act、outcome、history、calls、usage、handoffs、questions、goal_achieved 等字段,报告确切命令、结果、证据路径以及被拒绝或未验证的动作。

使用方式(示例命令): 仓库根目录离线预检: python3 .agent-skills/typesafe-computer-use/scripts/preflight.py --json python3 .agent-skills/typesafe-computer-use/scripts/preflight.py --repo /path/to/checkout --expect-commit 44ca11f0935b021b73020825da054b5c92cc1288 安装根目录形式: python3 "$SKILLS_ROOT/typesafe-computer-use/scripts/preflight.py" --json 低权限项目模式(需先应用上述门禁): uv run clicker "open the Playground" uv run clicker-inspect "any goal" --no-open uv run clicker "same goal" --image runs/<ts>/step-003-raw.png --app "Google Chrome" --url "https://example.com/" uv run clicker-bench loop --fixture --runs runs uv run clicker-bench perception --url https://news.ycombinator.com uv run clicker-bench replay --run runs/<ts> --step 2

适用场景:仅适用于该仓库固定提交的确切命令、适配器、状态契约与运行证据;通用桌面自动化应使用主机另行提供的计算机使用能力。提示注入、数据外泄或高风险工具策略应转交 agent-guardrails;循环预算/断路器转交 agent-system-design;更广泛的应用/API 加固转交 security-best-practices。

限制:预检不检查 macOS 屏幕录制/辅助功能或 Windows 实验性 UI 自动化状态;静态路径仅作为可用性证据;目标应保持狭窄且可观察,停止、低置信度、屏幕无变化或达到步数上限是审查证据,不是盲目重试的许可。项目依据为 MIT 许可证。