SuperAPI AI 工具集

web-scraping

编程与开发

查看项目

更新于 10-15 17:26

技能介绍

用途:从网站提取结构化数据,遵循“优先使用最轻量可靠方法”的原则。

方法选择:简单公开页面且所需内容已在 HTML 中时,使用 web_fetch;站点为动态页面、需要点击、无限滚动、筛选、标签切换或登录/会话状态时,使用 browser;仅当目标 URL 未知时,用 web_search 发现候选页面。

默认工作流:确定目标站点和要采集的确切字段;先测试一个页面;决定提取方式(可读文章/列表文本用 web_fetch,动态 DOM 检查用 browser snapshot);将输出规范化到稳定 schema;多页采集时避免紧凑循环并串行化请求;按 URL 或稳定 item id 去重;任务较大时把结果保存到工作区。

浏览器采集模式:打开页面、截图快照、仅在需要时交互(搜索、点击筛选、分页、展开区块)、每次有意义的状态变化后重新快照、只提取用户要求的字段、完成后关闭标签页。

输出建议:简洁要点摘要、JSON 对象数组,或用户需要可导出行时用 CSV/TSV;使用明确键,如 title、url、source、date、summary。

可靠性规则:不要编造缺失字段;站点阻止访问时如实说明并在合适时切换来源;新闻/结果页至少捕获 source、title、link;大任务将部分结果检查点写入工作区文件,优先少量大写入而非大量小写入。

清理:关闭为采集打开的浏览器标签页;若创建状态/输出文件,存放在工作区并清晰命名。分类依据其数据提取用途归入 data。