SuperAPI AI 工具集

data-scraper-agent

智能体与模型

查看项目

更新于 10-15 21:09

技能介绍

用途:构建生产可用的 AI 数据采集代理,监控任意公开数据源(招聘、价格、新闻、GitHub、体育、活动等),按计划运行、AI 富化、入库并随时间改进。

主要能力:三层结构 COLLECT→ENRICH→STORE;抓取用 requests + BeautifulSoup,JS 渲染站点用 playwright;AI 富化用 Gemini Flash REST API(免费额度 500 请求/天、100 万 token/天),支持模型自动降级链 gemini-2.0-flash-lite → gemini-2.0-flash → gemini-2.5-flash → gemini-flash-lite-latest;存储支持 Notion API、Google Sheets、Supabase;调度用 GitHub Actions cron;学习用仓库内 JSON 反馈文件。

使用方式:先明确采集目标、字段、存储位置、富化方式与频率;生成目录结构(config.yaml、profile/context.md、scraper/、ai/、storage/、data/feedback.json、.github/workflows/scraper.yml);为每个数据源写 fetch() 并统一 schema(至少 name、url、date_found);实现带 429 降级的 Gemini 客户端;批量调用 AI(如 33 条按 5 条一批,7 次调用而非 33 次);用反馈历史构建偏好提示;按 URL 去重后同步到存储;main.py 编排抓取→富化→入库。

适用场景:招聘匹配打分、商品降价提醒、GitHub 新版本摘要、新闻主题与情感分类、体育数据提取、活动筛选等。

限制:资料未提供具体价格、平台支持范围或效果保证;免费额度与速率限制以实际服务为准;示例默认 Notion,Sheets/Supabase 需自行接线;反馈同步需另写脚本;需遵守目标站点条款与 robots 规则。