用途:通过 Tavily 的 crawl 接口抓取网站多个页面,提取内容并保存为本地 Markdown 文件,适合下载文档、知识库或整站内容供离线使用。
主要能力:支持设置爬取深度 max_depth(1-5)、每页链接数 max_breadth、总页数上限 limit、自然语言指令 instructions、每页分块数 chunks_per_source、提取深度 extract_depth、输出格式 format、路径正则筛选 select_paths/exclude_paths、是否允许外部域名 allow_external 以及超时 timeout。另有 map 接口仅返回 URL,速度更快。
使用方式:脚本调用为 ./scripts/crawl.sh '<json>' [output_dir],提供 output_dir 时每个页面保存为独立 Markdown 文件。认证使用 Tavily MCP 的 OAuth,首次运行会检查 ~/.mcp-auth/ 并自动打开浏览器登录,需已有 Tavily 账号;也可在 ~/.claude/settings.json 中配置 TAVILY_API_KEY 使用 API Key。也可直接调用 POST https://api.tavily.com/crawl,请求头为 Authorization: Bearer $TAVILY_API_KEY 与 Content-Type: application/json。
适用场景:面向智能体时建议使用 instructions + chunks_per_source,仅返回相关分块以避免上下文膨胀;用于数据收集保存文件时省略 chunks_per_source 以获取完整页面。
限制:深度越大耗时越长,建议从 max_depth=1、limit=20 起步并始终设置 limit;chunks_per_source 需配合 instructions 使用;OAuth 流程仅支持登录,不支持注册。