SuperAPI AI 工具集

automating-the-browser

通用与其它

查看项目

更新于 10-16 07:18

技能介绍

用途:当页面内容依赖交互才出现(如“加载更多”按钮、无限滚动、表单提交或仅在交互后运行的 JS)时,用 crawlberg interact 驱动真实无头浏览器按顺序执行动作,再抓取最终页面。

主要能力与用法:核心命令为 crawlberg interact <url> --actions '[...]'。常用参数:--actions(必填,JSON 动作数组)、--format(json 或 markdown,默认 json)、--timeout(默认 30000 毫秒)、--browser-mode(auto/always/never)、--browser-endpoint(外部 CDP ws:// 或 wss:// 地址)、--config(内联 JSON 或 @file.json)。interact 无 --respect-robots-txt 选项。

动作类型(camelCase,未知字段会被拒绝):click(selector)、type(selector、text)、press(key,如 Enter)、scroll(direction 为 up/down,可选 selector、amount)、wait(milliseconds 或 selector,selector 优先)、screenshot(fullPage)、executeJs(script,仅可信脚本)、scrape(抓取当前页面 HTML)。无 select 与 wait_for_selector 动作,等待元素用 wait 加 selector。

限制:每次调用最多 100 个动作;单次 wait 最大 300000 毫秒,所有 wait 合计最大 300 秒;selector 最大 4096 字节;text 与 executeJs 脚本各最大 1 MB;scroll amount 绝对值最大 100000 像素,超出即报错。

输出:json 模式下结果位于 interaction 键,含 interaction.final_html 与 interaction.action_results[...](含截图数据和 executeJs 返回值);markdown 模式直接打印 interaction.final_html(原始最终 DOM,不转换为 Markdown)。需要干净 Markdown 时用 json 模式并将 final_html 交给抓取步骤。

适用场景与限制:适合需要交互后抓取的页面,如展开懒加载内容、登录后整页截图、连接外部 Chrome 等。示例中不应硬编码凭据,应从环境变量或密钥库传入。若页面普通抓取即可获得内容,应改用 crawlberg scrape。