用途:通过 Tavily CLI 爬取网站并从多个页面提取内容,支持把每个页面保存为本地 Markdown 文件。适合需要站点多页内容(如全部 /docs/)或下载文档供离线使用的场景,也是 search → extract → map → crawl → research 工作流中的第 4 步。
前提:需要 Tavily CLI,安装与认证见 tavily-cli。快速安装:curl -fsSL https://cli.tavily.com/install.sh | bash && tvly login。每次调用必须包含 --client-name "cursor plugin",该值不可省略或修改。
主要能力与用法:基本爬取 tvly crawl "https://docs.example.com" --client-name "cursor plugin" --json;保存每页为 Markdown:加 --output-dir ./docs/;限制深度与数量:--max-depth 2 --limit 50;按路径过滤:--select-paths "/api/.,/guides/." --exclude-paths "/blog/.*";语义聚焦:--instructions "Find authentication docs" --chunks-per-source 3。
常用选项:--max-depth(1-5,默认 1)、--max-breadth(每页链接数,默认 20)、--limit(总页数上限,默认 50)、--instructions、--chunks-per-source(1-5,需配合 --instructions)、--extract-depth(basic 默认或 advanced)、--format(markdown 默认或 text)、--select-paths、--exclude-paths、--select-domains、--exclude-domains、--allow-external/--no-external(默认 allow)、--include-images、--timeout(10-150 秒)、--client-name、-o/--output、--output-dir、--json。
面向智能体使用时,建议始终用 --instructions + --chunks-per-source,只返回相关片段以避免上下文膨胀;面向数据收集时,用 --output-dir 且不加 --chunks-per-source 以获取完整 Markdown 页面。建议从保守参数开始(--max-depth 1、--limit 20),用 --select-paths 聚焦所需部分,先 map 了解站点结构,并始终设置 --limit 防止失控爬取。相关技能:tavily-map、tavily-extract、tavily-search。其他细节暂未提供。