SuperAPI AI 工具集

wechat-article-scraper

写作与研究

查看项目

更新于 10-16 08:35

技能介绍

用途:抓取微信公众号文章,提取正文、图片与元数据,输出 Markdown、JSON、HTML、PDF 或 Excel 等多格式结果,并提供批量、搜索、存储与监控能力。

主要能力(据资料):智能策略路由,按 fast→adaptive→stable→reliable→zero_dep→jina_ai 顺序自动降级重试;公众号全历史文章批量抓取与断点续传;互动数据提取(需登录态);微信扫码登录态管理;OG 元数据备选;懒加载图片提取与图片段落关联;反爬处理(?scene=1、UA 轮换);图片下载到本地;搜狗搜索发现文章;SQLite 持久化、增量更新与 FTS5 全文搜索;任务队列;Web 管理界面(React+TypeScript);评论采集;RSS 生成;MCP 服务器;监控订阅;质量评分;AI 摘要;Webhook 通知;Notion/Airtable/Google Sheets 导出;浏览器扩展;CLI 与 Docker 部署。

使用方式:命令行如 python3 scripts/scraper.py "<url>",可加 --download-images、--format、--strategy、--batch;搜索用 python3 scripts/search.py "关键词" -n 10;存储用 python3 scripts/storage.py save article.json 及 stats/search/list;队列用 python3 scripts/queue.py create/add-urls/start/status;历史抓取用 w history crawl 公众号名称 --biz=... --token=...。依赖方案:Chrome DevTools(推荐)、Playwright(pip install playwright 后 playwright install chromium)、Adaptive(pip install "scrapling[ai]")、Fast(pip install requests beautifulsoup4 lxml)。Web 界面需 cd web/frontend && npm install、npm run dev,后端 cd web/backend && python main.py,访问 http://localhost:3000。Docker 可用 docker-compose up -d。

适用场景:单篇或批量采集公众号内容、建立文章数据库与全文检索、按关键词发现文章、监控订阅并推送通知、导出到第三方平台、生成 RSS。

限制:文章可能触发反爬或需登录态,评论采集需文章开启评论;部分功能依赖第三方 API Key 或服务;具体定价、部署环境要求与效果未提供。