用途:这是 Firecrawl 的一个工作流技能,用爬取内容把网址或主题整理成适合大模型使用的知识库,覆盖本地参考文档、RAG 分块、微调数据集和文档镜像等目标。
主要能力:可用 Firecrawl 的 map 处理文档站点、用搜索获取主题语料,并把页面抓取为 markdown,保留代码示例与表格。文件按 .firecrawl/<hostname>/<path>/index.md 的约定存放。支持并行处理,可按板块分派研究者,按官方文档、教程、社区讨论、参考资料区分来源,也可把抓取与分块、清单生成分开执行。
输出模式:参考模式产出 markdown 文件、index.md 和 sources.json;RAG 模式在 markdown 外增加分块文件与 manifest.json;训练模式产出抓取源文件、training-data.jsonl 与 training-metadata.json;文档镜像模式产出带目录的完整 markdown 镜像。
使用方式:从上下文推断来源、目标、深度与输出位置,若已清楚则直接执行;仅在受阻时问 1 至 3 个简短问题,如来源网址或主题、输出是参考/RAG/训练/文档、以及训练格式。最终交付包含摘要、输出结构、覆盖范围、使用说明、来源与可重跑参数(workflow、source、goal、depth、output_dir)。
限制:资料未说明具体依赖版本、费用、抓取规模上限与错误处理细节;输出需依赖 Firecrawl 服务与相应运行环境,实际效果取决于目标站点的可访问性。