SuperAPI AI 工具集

url-to-markdown

通用与其它

查看项目

更新于 10-16 05:51

技能介绍

用途:抓取公开 URL、转换为 Markdown 并保存为带时间戳的 .md 文件,便于后续智能体总结或提取内容。适用于转换网页/文章/文档/博客、把文档页拉取为本地 Markdown。不适用于需要登录的私有页面、未授权访问的站点,以及需要整站爬取而非单页抓取的任务。

转换优先级固定:先 https://r.jina.ai/<url>,仅在 r.jina.ai 不可用(如超时、网络失败、5xx、限流)时回退到 https://markdown.new/。该技能以执行为导向,优先运行捆绑脚本而非手工复现流程。

主要输入:url(必填,公开 URL);urls(可选,批量,与位置参数 url 互斥);concurrency(批量并发,默认 3);output_dir(批量输出目录,按 slug 命名);method(auto/ai/browser,默认 auto,用于 markdown.new 回退);retain_images(默认 false);transport(auto/get/post,默认 auto);timeout(默认 30);force_markdown_new(默认 false,为 true 时跳过 r.jina.ai 直接调用 markdown.new);output 默认 ./output/,若用户在提示中明确给出输出路径则使用该路径。

用法示例(需保留原样): python scripts/url_to_md.py "<url>" --output "output/" python scripts/url_to_md.py "<url>" --method browser --retain-images --output "output/" python scripts/url_to_md.py "<url>" --transport post --timeout 45 --output "output/" python scripts/url_to_md.py "<url>" --force-markdown-new --output "output/" 批量:python scripts/url_to_md.py --urls "https://example.com" "https://example.org" --output-dir "output/" python scripts/url_to_md.py --urls "https://a.com" "https://b.com" --concurrency 5 --output-dir "output/"

行为:始终先尝试 r.jina.ai;设置 --force-markdown-new 时直接使用 markdown.new;仅在 r.jina.ai 不可用时回退。调用应始终包含 --output。若 --output 是文件名,脚本在扩展名前追加时间戳;若是目录,则创建基于 slug 并带时间戳的文件名。

输出行为:优先同时产出保存的 Markdown 文件和简短对话摘要。摘要应含来源 URL、是否成功、所用提供方(r.jina.ai 或 markdown.new)、保存路径,以及非默认选项。

错误处理:失败时说明转换失败并给出主要错误,不要编造页面内容,指出可能原因(网络问题、超时、限流、不支持的页面访问);若两个提供方都失败,报告先失败和后失败者;如遇限流直接说明,不要假装重试成功。

限制与说明:优先保存的 Markdown 而非原始 stdout;捆绑脚本仅使用 Python 标准库;支持可导入与 CLI 执行,但该技能通常走 CLI。其他未提供的信息暂未提供。