SuperAPI AI 工具集

blog-scraper

数据与分析

查看项目

更新于 10-15 21:54

技能介绍

用途:通过 RSS/Atom 源抓取博客文章,免费且无需 API Key;对 JavaScript 渲染较重的站点可用 Apify 作为回退。适合监控竞品博客、跟踪行业动态等需要批量获取博客更新的场景。

主要能力:支持 RSS 2.0 与 Atom;自动发现站点订阅源(检查 HTML 的 <link rel="alternate"> 标签,并探测 /feed、/rss、/atom.xml、/feed.xml、/rss.xml、/blog/feed、/index.xml 等常见路径);支持按日期与关键词过滤,关键词为逗号分隔的 OR 逻辑;输出 JSON 或 summary 摘要格式。

使用方式:RSS 模式仅需 pip install requests。示例:python3 skills/blog-scraper/scripts/scrape_blogs.py --urls "https://example.com/blog" --days 30;多站点加关键词过滤:python3 skills/blog-scraper/scripts/scrape_blogs.py --urls "https://blog1.com,https://blog2.com" --keywords "AI,marketing" --output summary;强制 Apify 模式:python3 skills/blog-scraper/scripts/scrape_blogs.py --urls "https://example.com" --mode apify。

模式说明:auto 为默认,先尝试 RSS,若某些 URL 失败且存在 Apify token 则回退到 jupri/rss-xml-scraper;rss 仅尝试 RSS;apify 直接调用 Apify actor,跳过 RSS 发现。

CLI 参数:--urls(必填,逗号分隔);--keywords(可选,逗号分隔,OR 逻辑);--days(默认 30,仅含最近 N 天);--max-posts(默认 50);--mode(默认 auto);--output(默认 json,可选 summary);--token(仅 Apify 模式或回退时需要,也可用环境变量);--timeout(默认 300 秒,Apify 运行上限)。

限制与费用:RSS 模式免费,无需 API、无需 token;Apify 模式会消耗少量 Apify 积分。其余平台支持情况、抓取成功率等暂未提供。