SuperAPI AI 工具集

web-scraper

通用与其它

查看项目

更新于 10-16 06:38

技能介绍

用途

Web Scraper 用于抓取网页内容,并将 HTML 转换为干净的 Markdown 格式。当用户想要阅读网页文章、从 URL 提取信息或抓取页面内容时可以使用该工具。

主要能力

  • 抓取指定 URL 的网页内容
  • 将 HTML 转换为干净的 Markdown,具体转换规则包括:
    • 标题 → #、##、### 等
    • 列表 → 无序列表使用 -,有序列表使用 1.
    • 粗体/斜体 → bold、italic
    • 保留代码块
    • 移除导航、页脚和广告
  • 支持输出原始 HTML(通过 --raw 选项)
  • 支持设置请求超时时间,默认 30 秒
  • 支持设置最大输出长度,默认 100000 字符
  • 支持多个 URL 并行抓取

使用方式

运行 fetch 脚本获取网页内容:

python3 scripts/fetch_url.py <url> [options]

选项:

  • --timeout <seconds>:请求超时时间(默认:30)
  • --max-length <chars>:最大输出长度(默认:100000)
  • --raw:输出原始 HTML 而不是 Markdown

示例:

抓取单个 URL:

python3 scripts/fetch_url.py "https://example.com/article"

使用自定义超时抓取:

python3 scripts/fetch_url.py "https://example.com/article" --timeout 60

并行抓取多个 URL:

for url in "https://url1.com" "https://url2.com"; do
  python3 scripts/fetch_url.py "$url" &
done
wait

工作流程

  • 单个 URL:使用该 URL 运行 fetch_url.py
  • 多个 URL:使用后台进程并行运行多个 fetch 命令
  • 处理错误:如果某个 URL 失败,可检查网络连接、URL 有效性;网站可能屏蔽自动请求(可尝试不同的 User-Agent 或使用浏览器自动化)

适用场景

  • 阅读网页文章
  • 从 URL 提取信息
  • 抓取并整理网页内容为 Markdown
  • 批量抓取多个页面

限制

  • 不支持需要 JavaScript 渲染的网站
  • 遇到 403 Forbidden 时,表示网站屏蔽了自动请求;部分网站需要 JavaScript 渲染(该脚本不支持),可尝试从不同网络访问
  • 超时错误:可使用 --timeout 60 增加超时时间
  • 内容为空:网站可能需要 JavaScript 才能渲染内容
  • 关于收费、价格、平台支持范围等具体信息暂未提供。