SuperAPI AI 工具集

construction-sweep

数据与分析

查看项目

更新于 10-16 00:01

技能介绍

用途:按县运行可重复的流水线,构建州级建筑商数据库。流程为 Apify Google Maps 抓取 → 跨县去重 → 规则分类 → Firecrawl 与 Facebook 补全 → 追加到主 CSV。

调用方式:/construction-sweep <State> 选取下一个未完成县并运行完整流水线;/construction-sweep <State> <County> 运行指定县;--status 显示进度与下一个县;--bootstrap 初始化州文件夹(幂等);--dry-run 确认下一个县与预估成本,不调用 API。州文件夹默认位于当前目录 ./<State>/,可用 --dir <path> 覆盖。

流水线每步写入检查点文件,崩溃后重跑同一县可跳过已完成阶段。主要阶段包括:初始化州、选取下一个县、用户确认、Apify 抓取 Google Maps、拉取数据集、县内去重、分类、准备补全、提交 Firecrawl 与 Facebook 批处理、拉取结果、追加到 master.csv、记录日志。

凭据要求:Firecrawl API key 存于 ~/.firecrawl_key(chmod 600);Apify 需在 ~/.claude.json 配置 MCP 服务器。缺失时中止并提示安装,SETUP.md 有具体命令。

轮询使用 ScheduleWakeup 工具,Apify 抓取启动后 sleep 240s 再轮询,Firecrawl 与 Facebook 并行启动后 sleep 270s,仍在运行则用 60-120s 较短间隔,避免紧密循环。

成本估算:农村县约 $0.50-0.80,都市县约 $1.00-1.50,州(40-50 县)约 $25-50。

输出 master.csv 含 27 列,每行一个唯一建筑商,关键列有 business_name、counties(管道分隔)、phone、website、email_primary、all_emails、facebook、instagram、linkedin、google_rating、google_reviews_count、years_in_business、license_numbers、services_summary、scope、category_primary、categories_all、classification_reason、place_id(去重键)。

扩展新州:检查 data/counties_by_state.json 是否有条目,否则用 --bootstrap 提示输入县列表。结果可放入 Sheets 或 CRM,交接时打包州文件夹即可续跑。更新技能可 cd ~/.claude/skills/construction-sweep && git pull,州文件夹不受影响。

限制:依赖 Apify 与 Firecrawl 外部服务及凭据;部分网站可能被 Firecrawl 屏蔽;分类器可能误拒明显建筑商,需手动补救并添加规则。