用途:抓取博客文章,用于监控竞品博客、跟踪行业动态等场景。默认自动模式会先为每个 URL 发现 RSS/Atom 订阅源,检查 HTML 的 link rel=alternate 标签,并探测 /feed、/rss、/atom.xml、/feed.xml、/rss.xml、/blog/feed、/index.xml 等常见路径,解析 RSS 2.0 与 Atom,再在客户端按日期和关键词过滤;若有 URL 失败且提供 Apify token,则回退到 Apify 的 jupri/rss-xml-scraper。RSS 模式只尝试订阅源,不做回退;Apify 模式直接使用该 actor,跳过订阅源发现。
用法:RSS 模式仅需 pip install requests,无需 API 密钥。示例:python3 skills/blog-scraper/scripts/scrape_blogs.py --urls "https://example.com/blog" --days 30;多博客加关键词:--urls "https://blog1.com,https://blog2.com" --keywords "AI,marketing" --output summary;强制 Apify:--urls "https://example.com" --mode apify。
主要参数:--urls 必填,逗号分隔;--keywords 逗号分隔,OR 逻辑;--days 默认 30;--max-posts 默认 50;--mode 默认 auto,可选 auto/rss/apify;--output 默认 json,可选 json 或 summary;--token 默认取环境变量,仅 Apify 模式或回退需要;--timeout 默认 300 秒,用于 Apify 运行。
限制:RSS 模式免费、无 API 与 token;Apify 模式消耗少量 Apify 额度。对 JS 重度站点需 Apify 回退。其余细节暂未提供。