SuperAPI AI 工具集

web-scraping

编程与开发

查看项目

更新于 10-15 21:11

技能介绍

用途:从网页中结构化提取数据,通过 claude-in-chrome MCP 执行浏览操作,并用 sequential-thinking MCP 先做规划,遵循 PLAN-READ-TRANSFORM 模式,只做读取,不修改页面状态。

主要能力:六阶段流程为规划、导航、结构分析、数据提取、转换格式(JSON/CSV/Markdown)、写入 Memory MCP。支持 read_page 分析 DOM、get_page_text 取正文、javascript_tool 做只读查询、截图核验、滚动加载懒加载内容,并能处理编号分页、下一页按钮、无限滚动、加载更多、游标分页等模式。内置速率限制建议(同域 1-2 秒、分页 2-3 秒、批量 3-5 秒,被限流时指数退避从 10 秒起)、预检协议、错误分类重试和数据校验规则。

使用方式:先运行预检,调用 mcp__sequential-thinking__sequentialthinking 校验规划 MCP,调用 mcp__claude-in-chrome__tabs_context_mcp 校验浏览器 MCP,内存 MCP 可选。随后建立标签页、导航并等待加载,读取结构映射字段选择器,再按 schema 提取并转换存储。关键命令保持原样,如 mcp__claude-in-chrome__get_page_text、mcp__claude-in-chrome__javascript_tool、mcp__claude-in-chrome__read_page、mcp__claude-in-chrome__find、mcp__claude-in-chrome__computer(action: wait/scroll/screenshot/left_click)、mcp__claude-in-chrome__navigate、mcp__claude-in-chrome__tabs_create_mcp。

适用场景:5-50 个元素时考虑使用,50 个以上或涉及分页时强制使用;包括商品目录、文章内容、表格数据、目录名录、研究数据、价格监控等需要结构化输出的任务。

限制:仅适用于只读提取,表单提交、需要点击的交互流程应改用 browser-automation;单页简单文本直接用 get_page_text;有 API 时应优先调用 API;登录后内容、验证码、反爬站点不应绕过,需遵守 robots.txt。依赖相应 MCP 可用,缺失时中止;资料未提供定价、平台兼容范围与性能数据。