用途:抓取网页内容并将其转换为整洁的 Markdown 格式,适合阅读网页文章、从 URL 提取信息等场景。
主要能力:将 HTML 转为 Markdown(标题用 #、无序列表用 -、有序列表用 1.、粗体用 粗体、斜体用 斜体,保留代码块);自动移除导航、页脚和广告。
使用方式:运行抓取脚本:python3 scripts/fetch_url.py <url> [options]。可用选项:--timeout <seconds>(请求超时,默认 30)、--max-length <chars>(最大输出长度,默认 100000)、--raw(输出原始 HTML 而非 Markdown)。抓取多个 URL 时可用后台进程并行执行各抓取命令。
限制与排错:该脚本不支持需要 JavaScript 渲染的网站。若出现 403 Forbidden,可能是网站拦截自动化请求,可尝试不同的 User-Agent 或使用浏览器自动化;网络问题或 URL 无效也会导致失败。超时错误可增大 --timeout(如 60)。若内容为空,通常是网站需要 JavaScript 渲染。部分官网信息暂未提供。