SuperAPI AI 工具集

wechat-article-fetcher

写作与研究

查看项目

更新于 10-16 00:00

技能介绍

用途:抓取微信公众号文章并本地留存。支持任意 mp.weixin.qq.com 文章 URL,自动提取标题、作者、发布时间和完整正文,下载文章内图片,保存整页截图,并导出 JSON 结果。

主要能力:单篇抓取脚本 fetch.py,批量抓取脚本 batch_fetch.py(可从 urls.txt 读取或直接传多个 URL),虚拟环境运行脚本 run_in_venv.py;支持无头模式、超时设置、跳过图片或截图;也可在代码中调用 fetch_article(url) 获取标题、作者、内容长度、图片数量等字段。

输出:每次抓取生成以时间戳命名的目录,内含 article.json、article.png 和 images/ 图片目录;JSON 包含 title、author、publish_date、url、content、images、images_count、images_dir、fetch_time、length 等字段。可通过 config.json 配置 headless、timeout、output_dir、save_images、save_screenshot、user_agent。

用法示例:python3 skills/wechat-article-fetcher/scripts/fetch.py <url>;批量:python3 skills/wechat-article-fetcher/scripts/batch_fetch.py --urls-file urls.txt;虚拟环境:python3 skills/wechat-article-fetcher/scripts/run_in_venv.py <url> --venv /path/to/playwright-env。依赖 Playwright,缺失时执行 pip install playwright 与 playwright install chromium,浏览器启动失败需安装系统依赖库。

限制与注意:需遵守 robots.txt 与网站爬取规则,批量抓取建议加延迟;图片下载失败可加 --no-images,页面超时可用 --timeout 调大。资料未提供收费、价格与平台支持范围等信息。