SuperAPI AI 工具集

fetching-and-converting-urls

通用与其它

查看项目

更新于 10-16 07:18

技能介绍

用途:当用户给出 URL 而非 HTML,并希望把页面转成 Markdown 或其元数据/表格时使用。该 CLI 通过 --url 一步完成 HTTP 抓取与转换;--url 与位置参数 FILE 互斥。若需爬取多页面或跟踪链接,应改用 crawlberg,本技能仅针对单个 URL。

主要能力与用法: 基本抓取并输出 Markdown 到标准输出:html-to-markdown --url https://example.com 保存到文件:html-to-markdown --url https://example.com -o page.md 自定义 User-Agent(默认模仿真实浏览器):html-to-markdown --url https://example.com --user-agent "MyBot/1.0"。--user-agent 需要配合 --url。 清理噪声页面:真实网页含导航、广告、Cookie 横幅和表单,可先预处理再转换,例如 html-to-markdown --url https://example.com/article --preprocess --preset aggressive;若页面内容位于导航或表单中,可加 --keep-navigation。预设为 minimal、standard(默认)、aggressive;--preset 与 --keep-* 标志均需配合 --preprocess。 JSON 输出:加 --json 得到完整结构化结果而非纯 Markdown,返回 content、metadata(document、headers、links、images、structured_data)、tables、images、warnings。常用组合均需 --json,如 --no-content 仅取标题与大纲、--include-structure 包含文档结构树、--extract-inline-images 提取内联图片数据。 警告与退出码:--show-warnings 把非致命警告(截断、标记错误)输出到 stderr;退出码 0 成功,1 为转换或 I/O 错误(含抓取失败),2 为参数无效。

限制:仅处理单个 URL;预处理与相关标志有依赖条件;完整标志集与 JSON 结构见 html-to-markdown 的 CLI 参考文档。