用途
Web Scraper 用于抓取网页内容,并将 HTML 转换为干净的 Markdown 格式。当用户想要阅读网页文章、从 URL 提取信息或抓取页面内容时可以使用该工具。
主要能力
- 抓取指定 URL 的网页内容
- 将 HTML 转换为干净的 Markdown,具体转换规则包括:
- 标题 → #、##、### 等
- 列表 → 无序列表使用 -,有序列表使用 1.
- 粗体/斜体 → bold、italic
- 保留代码块
- 移除导航、页脚和广告
- 支持输出原始 HTML(通过 --raw 选项)
- 支持设置请求超时时间,默认 30 秒
- 支持设置最大输出长度,默认 100000 字符
- 支持多个 URL 并行抓取
使用方式
运行 fetch 脚本获取网页内容:
python3 scripts/fetch_url.py <url> [options]
选项:
--timeout <seconds>:请求超时时间(默认:30)--max-length <chars>:最大输出长度(默认:100000)--raw:输出原始 HTML 而不是 Markdown
示例:
抓取单个 URL:
python3 scripts/fetch_url.py "https://example.com/article"
使用自定义超时抓取:
python3 scripts/fetch_url.py "https://example.com/article" --timeout 60
并行抓取多个 URL:
for url in "https://url1.com" "https://url2.com"; do
python3 scripts/fetch_url.py "$url" &
done
wait
工作流程
- 单个 URL:使用该 URL 运行 fetch_url.py
- 多个 URL:使用后台进程并行运行多个 fetch 命令
- 处理错误:如果某个 URL 失败,可检查网络连接、URL 有效性;网站可能屏蔽自动请求(可尝试不同的 User-Agent 或使用浏览器自动化)
适用场景
- 阅读网页文章
- 从 URL 提取信息
- 抓取并整理网页内容为 Markdown
- 批量抓取多个页面
限制
- 不支持需要 JavaScript 渲染的网站
- 遇到 403 Forbidden 时,表示网站屏蔽了自动请求;部分网站需要 JavaScript 渲染(该脚本不支持),可尝试从不同网络访问
- 超时错误:可使用 --timeout 60 增加超时时间
- 内容为空:网站可能需要 JavaScript 才能渲染内容
- 关于收费、价格、平台支持范围等具体信息暂未提供。