用途:通过 URL 抓取网页内容,并转换为干净的 Markdown 格式,方便后续阅读或处理。
主要能力:支持单个 URL 或 JSON 数组形式的多个 URL;可设置请求超时;可选择 Markdown 代理提供方,包括 pure.md(默认)、defuddle.md、markdown.new、r.jina.ai。多 URL 时返回 JSON 数组结果,并包含所选 provider 信息。
使用方式:脚本入口为 node {baseDir}/scripts/fetch.mjs。示例: node {baseDir}/scripts/fetch.mjs "https://example.com" node {baseDir}/scripts/fetch.mjs '["https://example.com", "https://example.org"]' node {baseDir}/scripts/fetch.mjs "https://example.com" --timeout 60000 node {baseDir}/scripts/fetch.mjs "https://example.com" --provider defuddle.md
参数:urls_json 为单个 URL 字符串或 URL 的 JSON 数组;--timeout <ms> 为请求超时毫秒数,默认 30000;--provider <name> 可选 pure.md、defuddle.md、markdown.new、r.jina.ai,默认 pure.md。
提供方选择建议:若已知某 provider 对该 URL、域名或内容类型更可靠,优先使用;同一站点在当前任务中可复用上次成功的 provider;无偏好时从默认 pure.md 开始;失败或 Markdown 质量不佳时,依次尝试 defuddle.md、markdown.new,最后用 r.jina.ai 兜底。重试时仅更改 --provider,除非需要更长 --timeout。
限制:脚本不会自动回退,必须由调用方显式选择 provider;需要 Node.js 18+(使用原生 fetch)。