SuperAPI AI 工具集

harmonyos-device-automation

通用与其它

查看项目

更新于 10-16 07:22

技能介绍

用途:面向 HarmonyOS NEXT 设备的视觉驱动自动化,通过截图理解屏幕并执行点击、输入、滚动等操作,无需 DOM 或无障碍标签。

主要能力:act 可在单次调用内完成点击、双击、长按、输入、清空文本、滚动、拖拽、按键及系统导航(返回、主页、最近任务);不支持双指缩放。assert 用于校验当前屏幕是否满足自然语言条件,支持参考图比对(--image、--image-name,需 1.9.0+)。record start 可录制瞬时 UI(如 toast、动画)后再用 assert --record 断言。tap --locate 支持传入参考图 JSON 精确定位。

使用方式:需配置模型环境变量(MIDSCENE_MODEL_API_KEY、MIDSCENE_MODEL_NAME、MIDSCENE_MODEL_BASE_URL、MIDSCENE_MODEL_FAMILY),并安装 HDC。常用命令:npx -y @midscene/harmony@1 connect、launch --uri <bundleName>、take_screenshot、act --prompt "..."、assert --prompt "..."、disconnect。可选 --deep-locate 与 --deep-think 提升定位与规划精度。报告可用 report-tool 转为 Markdown 或 JSON。

限制:命令必须同步执行,禁止后台运行,且一次只运行一条;每条命令约需 1 分钟,复杂 act 更久。不支持双指缩放。录制为周期性截图生成的 JSON 清单加图片目录,非视频。模型未配置时需用户自行设置。