SuperAPI AI 工具集

using-web-scraping

编程与开发

查看项目

更新于 10-15 20:06

技能介绍

用途:为智能体提供网页搜索与内容采集能力,使用无头 Chrome(Playwright/Puppeteer)进行导航,使用 DuckDuckGo 作为注重隐私的搜索来源。适用于收集公开网页内容用于摘要、元数据提取或链接发现,不用于绕过付费墙、抓取私有/登录内容或违反服务条款。

主要能力:在 DuckDuckGo 中搜索并返回前 N 条结果链接;在无头 Chrome 中访问结果页面并提取标题、meta description、正文(尽力提取文章文本)与 canonical URL;以结构化 JSON 返回结果供下游消费。若页面需要登录,返回 login_required 而非尝试绕过。

使用方式与安全规范:抓取前检查并遵守 /robots.txt;限速请求(默认 1 请求/秒),使用礼貌的 User-Agent;不在抓取页面上执行任意用户提供的 JavaScript;仅抓取公开内容。可参考的 Agent 提示要求对 search: 任务先搜索再逐页提取 url、title、description、text,并以 JSON 返回。安装:Node 执行 npm i playwright 并运行 npx playwright install 安装浏览器二进制;Python 执行 pip install playwright 与 playwright install。技巧:仅需文本时可用 page.route 屏蔽图片、字体等大体积资源;尊重站点条款,重试采用指数退避。

限制:资料未提供更详细的错误处理、并发上限或具体站点适配说明;媒体类抓取与下载示例另见 using-youtube-download.md。