Scrape.do 是一款面向大语言模型（LLM）数据准备的网页抓取 API，主打将公开网站内容转化为可直接用于模型训练的 Markdown 格式数据。
【用途】 该工具用于从公开网络采集数据，服务于 AI 驱动的业务场景。官方描述其目标是“用干净、公开的网页数据训练 LLM”，可抓取论坛帖子、长篇内容、公开知识图谱以及任意网站的元数据。
【主要能力】
- 输出格式灵活：默认返回原始 HTML，可通过 output= 参数指定返回 .md 或 .json 格式，适合 LLM 使用。
- 领域内容采集：可从细分论坛、博客、研究中心和产品评测网站收集 Markdown 格式的结构化数据，适用于垂直领域 LLM 或对现有模型进行微调。
- 爬虫式体验：用户发送单个 URL，即可获取结构化、渲染并导航后的内容，适合将模型就绪数据送入 AI 管道。
- 去重支持：可利用 URL 规范化、内容哈希或域名特定选择器，以较低开销实现大规模去重。
- API 优先、语言无关：易于接入从本地脚本到生产级数据摄取流程的各类训练栈。
【使用方式】 官方未提供具体安装命令或代码示例。资料仅说明通过 API 发送 URL 并设置 output= 参数切换输出格式。可先使用 1000 免费额度开始抓取，无需信用卡。如需要，可联系官方工程师讨论大规模数据需求。
【适用场景】
- 为大语言模型收集大规模公开训练数据（论坛、新闻、评论、文章、学术来源）。
- 构建垂直领域 LLM 或微调现有模型。
- 将抓取数据集成到数据标注或训练管道中。
- 爬取整站内容并送入 AI 管道。
【限制】 资料中未提及具体的收费价格、平台兼容性、抓取频率限制、法律合规条款等信息，这些内容暂未提供。
