用途:设计完整、稳健的数据提取管道,而非一次性脆弱脚本,覆盖网页抓取、爬虫、文档提取、API 解析与重校验数据管道。
主要能力:按来源智能路由三种模式。模式一 API 驱动(Firecrawl),适合公开 URL、强动态 JS/SPA、需搜索优先发现或整域批量爬取;模式二本地 Python,适合本地 PDF/Excel/CSV、私有敏感数据或简单静态 HTML;模式三混合管道,用 Firecrawl 做 URL 发现与网页提取,再用本地 Pandas 清洗、规范化与结构化。执行流程为:先声明路由选择及理由,再估算 Firecrawl 配额或 LLM token 上限,随后安全提取(多页任务做检查点、处理分页与动态布局),最后校验与清洗。默认输出 CSV(表格)、JSON(嵌套结构)、Markdown(纯文本)。
使用方式:Firecrawl 采用 BYOK,API 密钥只能通过环境变量加载,如 os.getenv('FIRECRAWL_API_KEY')。脚本依赖与命令:python3 scripts/validate_extraction.py output.json --json(仅标准库);python3 scripts/firecrawl_example.py --sample(需 firecrawl、requests,模板可离线运行);python3 scripts/local_bs4_example.py --sample(需 beautifulsoup4、pandas,模板可离线运行)。每个提取结果交付前必须运行校验脚本,仅当输出 {"status": "ok"} 时退出码为 0,警告(空输出)或错误(JSON 格式错误)退出码为 1,需修复并重新提取。若存在 project-context.md,应先阅读再提问。
适用场景:公开动态站点抓取、批量文档爬取、本地文件提取、需要清洗规范化的混合管道。
限制与反模式:避免高度嵌套的脆弱 CSS 选择器,改用数据属性或稳健结构锚点;抓取前检查 robots.txt 并设置合理速率限制;不得将未校验数据直接写入文件;不得硬编码 API 密钥;本地敏感文件不应发送至外部 API。相关技能:data-cleaning 用于复杂统计规范化或去重,browser-automation 用于需模拟点击登录的高交互抓取。其他细节暂未提供。