SuperAPI AI 工具集

documentation-scraper

写作与研究

查看项目

更新于 10-16 01:49

技能介绍

用途:把文档网站抓取并编译为一份适合 AI 消费的 markdown 文件。工具本身不使用 AI 抓取,而是为 AI 提供上下文。

主要能力:slurp 可一步完成抓取与编译;也可分步使用 slurp fetch <url> [version] 下载到 partials,再用 slurp compile 编译;slurp read <package> [version] 可读取本地文档。输出为 slurp_compiled/compiled_docs.md,中间文件在 slurp_partials/。常用参数包括 --max(默认20)、--concurrency(默认5)、--headless(默认true)、--base-path、--output、--retry-count、--retry-delay、--yes;compile 支持 --input、--output、--preserve-metadata、--remove-navigation、--remove-duplicates、--exclude。

使用方式:先检查安装:which slurp || echo "NOT INSTALLED",未安装则请用户执行 npm install -g slurp-ai(需 Node.js v20+),确认后再抓取。所有命令必须在沙箱外运行,需禁用沙箱,因为沙箱会阻止网络访问和文件操作。抓取前务必先用附带脚本分析 sitemap:node analyze-sitemap.js https://docs.example.com,据输出确定 --base-path 与 --max;页面少于50可整站抓取,50-200 用 --base-path 限定范围,200+ 必须缩小到子章节,无 sitemap 时先用 --max 30 再调整。示例:slurp https://docs.example.com/docs/ --base-path https://docs.example.com/docs/ --max 80。静态站点可用 --headless false 加快速度。

适用场景:为 AI 上下文注入库文档、API 参考或整站文档;自动化时可加 --yes 跳过确认。输出后可用 wc -c 检查体积、grep "^#" 预览结构。

限制:不适用于 OpenAPI/Swagger 规范(应用专用解析器)、GitHub README(可直接从 raw.githubusercontent.com 获取)、npm 包文档(通常读源码与 README 更好)以及频繁更新的文档(需考虑缓存策略)。常见问题包括 --max 过小导致抓取不足、JS 未渲染导致内容缺失、并发过高导致卡顿、基础路径过宽引入无关页面等,可分别通过分析 sitemap、保持 headless true、降低并发、修正 --base-path 解决。