用途:抓取外部文档站点,转换为本地 Markdown 文件,作为上下文使用(如 RAG、参考资料)。
前提:需在 .mcp.json 中配置 CF Browser MCP 服务器。
工作流程:
- 发现页面:调用 browser_links(base_url) 获取所有链接页面,仅保留同域 URL,按文档模式(如 /docs/、/guide/、/api/、/reference/)过滤,上限为 max_pages(默认 20)。
- 抓取内容:对每个页面调用 browser_markdown(page_url) 获取 Markdown,尽可能并行处理(每批 5 个)。
- 清理内容:去除导航头/侧边栏、页脚样板、Cookie 横幅和广告,保留代码块与表格。
- 保存到磁盘:保存至 docs/{source_domain}/,例如 docs/docs.astro.build/ 下含 index.md、getting-started.md 等。
- 生成索引:创建 index.md,包含来源 URL、抓取时间戳、各文件链接目录、总页数与近似 token 数。
- 报告:输出成功抓取页数、近似 token 总数、覆盖主题及失败页面。
参数:url(必填,文档站点基础 URL);max_pages(可选,默认 20);output_dir(可选,默认 docs/{domain});patterns(可选,包含的 URL 模式)。
示例:抓取 Hono 文档、下载 Cloudflare Workers 文档、为 RAG 索引 Astro 指南。
限制:依赖 CF Browser MCP 服务器;仅处理同域页面;默认最多 20 页;清理规则可能无法覆盖所有站点结构。