SuperAPI AI 工具集

web-scraper

写作与研究

查看项目

更新于 10-15 22:10

技能介绍

用途:抓取网页内容并转换为整洁的 Markdown 格式,适用于阅读网页文章、从 URL 提取信息等场景。

主要能力:使用 fetch_url.py 脚本获取网页;将 HTML 转换为 Markdown,标题转为 #、## 等,无序列表转为 -,有序列表转为 1.,粗体/斜体转为 粗体、斜体;保留代码块;移除导航、页脚和广告;支持输出原始 HTML。

使用方式:运行 python3 scripts/fetch_url.py <url> [options]。可选参数:--timeout <seconds> 设置请求超时(默认 30);--max-length <chars> 设置最大输出长度(默认 100000);--raw 输出原始 HTML 而非 Markdown。多 URL 可并行抓取,示例:for url in "https://url1.com" "https://url2.com"; do python3 scripts/fetch_url.py "$url" & done; wait。

限制与排查:脚本不支持 JavaScript 渲染,空内容可能是网站需 JS 渲染;403 Forbidden 表示网站阻止自动请求,可尝试更换 User-Agent 或使用浏览器自动化,也可尝试换网络访问;超时错误可用 --timeout 60 增加超时;抓取失败还需检查网络连通性与 URL 有效性。