用途:抓取单个 URL,将其内容转换为干净的 Markdown 文本。该操作是一次性读取,不会向文档索引添加任何内容;若需索引以便反复搜索,应改用 docs-manage 技能的 scrape 命令。
主要能力:支持跟随或禁用 HTTP 重定向;支持自定义 HTTP 请求头(可重复传入,用于认证令牌或 Cookie);提供 auto、fetch、playwright 三种抓取模式,auto 会先尝试普通 HTTP 抓取,失败时回退到 Playwright 处理 JavaScript 渲染页面。
使用方式:命令为 npx @arabold/docs-mcp-server@latest fetch-url <url> [options]。常用选项包括 --follow-redirects(默认 true)、--no-follow-redirects、--scrape-mode auto|fetch|playwright(默认 auto)、--header "Name: Value"、--quiet、--verbose。结果直接写入 stdout,可用重定向保存为文件,例如 npx @arabold/docs-mcp-server@latest fetch-url <url> > page.md。全局 --output 标志虽被接受但无实际效果,因为输出已是纯文本而非结构化数据。诊断与错误信息写入 stderr,非交互会话中默认被抑制,可用 --verbose 或设置 LOG_LEVEL=INFO 重新启用,用 --quiet 抑制所有非错误诊断。
适用场景:需要把单个网页读取为 Markdown;在决定是否索引某文档页前先检查其内容;为摘要或分析获取 URL 的原始文本;在搜索返回相关 URL 后抓取该页完整内容;访问需要认证的页面时通过 --header 传递 Cookie 或令牌。
限制:不建立索引,不适合需要重复搜索的场景;fetch 模式最快但会遗漏 JavaScript 渲染的内容;playwright 模式需使用无头浏览器,适用于 SPA 或依赖 JavaScript 渲染的页面。其他细节资料未提供。