用途:从网页内容中提取结构化数据,适用于抓取商品、文章、评论、房产、职位等信息的场景,也支持对文档内容进行 AI 问答。
主要能力:
- LLM 提示词提取:用自然语言描述要提取的数据,返回结构化结果。
- 预训练 AI 模型:内置 product、article、review_list、real_estate_listing 等多种模型,返回标准化结构及质量评分。
- 自定义模板:用 CSS、XPath、JMESPath、Regex 等选择器定义提取规则,可内联传入,也可在控制台保存后按 slug 引用。保存模板支持版本历史与发布指针、可选 URL 作用域、60 秒 TTL 缓存。
使用方式:先安装 SDK:pip install scrapfly-sdk。API Key 通过环境变量 SCRAPFLY_API_KEY 提供或直接传给客户端。接口端点为 POST https://api.scrapfly.io/extraction。使用 ScrapflyClient 与 ExtractionConfig 配置参数,包括 body、content_type、url、charset、extraction_prompt、extraction_model、extraction_template、timeout、webhook_name。每次请求必须且只能提供 extraction_prompt、extraction_model、extraction_template 三者之一。也可在 ScrapeConfig 中直接加入 extraction_prompt 或 extraction_model,在抓取时一并完成提取。
限制:LLM 提示词需明确输出格式;url 参数仅用于解析 HTML 相对链接,非必填;大文档建议先抓取为 markdown 或 text 以降低 token 消耗;模板 URL 不匹配时会返回 ERR::EXTRACTION::TEMPLATE_URL_MISMATCH。错误可通过 ScrapflyError 捕获。详细参数与规则见官方文档。