SuperAPI AI 工具集

ui-json-capture

通用与其它

查看项目

更新于 10-15 21:37

技能介绍

用途:在用户已登录的浏览器中,通过 CDP 驱动页面、挂钩 XMLHttpRequest,逐页点击结果页并保留页面本身已收到的 JSON,从而绕过导出条数上限,实现分页结果的整体捕获。不直接调用 API,不处理凭据。

主要能力:先判断是否真的需要翻页——单页响应通常已带分面计数,可先读分面;再检查过滤后的切片是否在导出上限内(如 Lex Machina 导出上限 1000 行,按年导出多数年份可满足)。仅在需要跨全量逐条字段时才翻页。流程包括:加载 browser-automation 技能并选用交互式浏览器(9222 / mcp__chrome-devtools__*);用 list_network_requests 与 get_network_request 找到 application/json 响应并保存;编辑 scripts/01-install-hook.js 中三处站点相关行(URL 判断、数组字段、偏移字段)后安装钩子;先冒烟测试 4 页;运行 scripts/02-run-pager.js(立即返回);用 scripts/03-status.js 轮询、scripts/04-dump.js 分批落盘;scripts/05-stop.js 停止;最后用 scripts/assemble.py 校验完整性,其非零退出码即为门禁。

必要命令示例:python3 "${CLAUDE_SKILL_DIR}/scripts/assemble.py" --batches scratch/capture --glob 'batch_*.json' --out data/raw/cases.jsonl --expect-total 16670 --page-size 25 --id-field id --first-page scratch/page0.json

限制与注意:LexisNexis、Bloomberg、Thomson Reuters 条款禁止系统性下载,导出上限即其执行机制,翻页 XHR 端点属于绕行,风险由用户承担;应一次性说明并让用户决定,同时提示可购买 API 或学术批量协议。evaluate_script 约 120 秒超时但页内循环继续,故应分离并轮询;数据经 filePath 落盘而非返回值;filePath 受工作区根目录限制;钩子安装晚于页面加载会漏掉第 1 页,可用 --first-page 拼接;滚动等 UI 事件会触发同一端点,需去重键;保存的默认列视图会覆盖 cols= 参数;抽屉与复选框 UI 需真实点击并二次读取;节奏与抖动是保护属性而非固定频率。迁移到其他站点时仅四处站点相关:结果端点 URL 判断、数组字段、偏移字段、Next 按钮选择器。游标分页、无限滚动、GraphQL POST 需相应调整去重键与校验方式。