SuperAPI AI 工具集

wxmp-article-harvester

写作与研究

查看项目

更新于 10-16 04:57

技能介绍

用途:把公开公众号文章整理成可检索、可审计、可恢复的本地资料包,适用于研究、学习与归档,需保留原文 URL、作者和发布时间,不得再分发受版权保护的内容。

主要能力:preflight.py 只检查依赖,不自动安装或升级;wcx_run.py 搜索公众号、刷新登录态、抓元数据并导出索引;harvest_wxmp.py 过滤日期与标题,复用 Playwright 上下文提取正文并保留图片顺序。默认输出到用户数据目录下的 wxmp-article-harvester/exports/<公众号>/,可用 WXMP_HARVEST_HOME 覆盖。支持最近 N 篇、日期范围、年度与深历史分批,默认无数量时取最近 50 篇,最近 N 天最多取 min(N × 8, 80) 篇元数据。

使用方式:先运行预检 python3 <skill-root>/scripts/preflight.py --json;搜索公众号用 python3 scripts/wcx_run.py -- search "账号名";抓取示例:python3 scripts/harvest_wxmp.py --account "账号名" --since 30d --fulltext。深历史首轮加 --batch,冷却后仅用 --resume。只补正文或重新筛选时加 --skip-fetch。单篇链接可用 python3 scripts/browser_reader.py --url "https://mp.weixin.qq.com/s/..." --output-dir "目录"。

限制:只接受 https://mp.weixin.qq.com/s... 公开文章链接,拒绝其他域名、协议及带用户信息的 URL;所有 wcx 命令须走 wcx_run.py,运行时禁止自动 pip install 或强制升级;--limit、--batch-size 硬上限为 80。默认不调用 Metaso,仅在用户明确授权付费并同意传输第三方 URL 后才加 --allow-metaso。命中验证码或风控页会熔断本轮后续请求;无可信正文标记 partial。索引保存相对路径,状态文件 .harvest-state.json 记录任务进度,cursor_drift 时必须停止并重建任务。