SuperAPI AI 工具集

web-clipper

通用与其它

查看项目

更新于 10-16 09:35

技能介绍

用途:覆盖单篇收藏(输入一个文章 URL,提取标题、摘要、发布日期、正文,保存为 Markdown 到指定目录)与批量收藏(输入索引页、归档页、专题页或作者主页,按前 N 篇、热门或最新文章批量保存)。

主要能力:封装脚本与 bootstrap,检查 Python 3 与主脚本完整性,自动创建默认 clipping 目录并写入当前项目的 .web-clipper/EXTEND.md;输出 Markdown + YAML frontmatter,文件名默认 YYYY-MM-DD 标题.md,缺日期用 unknown-date 标题.md。抓取策略依次为静态直抓、Metaso Reader API fallback(需 METASO_API_KEY,适合微信公众号等反爬站点)、浏览器滚动收集链接后再用 --url-file 批量落地、浏览器直接抽正文。已验证 Substack 可从 archive 页收集 URL 并从内嵌 JSON 的 body_html 提取正文。

使用方式:首次运行 bash <web-clipper-root>/scripts/run_web_clipper.sh --help(有副作用,会触发 bootstrap,应在目标 vault 根目录执行)。单篇:bash "$WEB_CLIPPER_ROOT/scripts/run_web_clipper.sh" --url "<文章URL>" --mode single --output-dir "<输出目录>";批量:--url "<索引页URL>" --mode batch --count 20 --output-dir "<输出目录>";浏览器先收集链接:--url-file /tmp/article_urls.txt --mode batch。未指定输出目录时依次读取 EXTEND.md 的 default_output_dir、00_收件箱/Clippings/、Clippings/。

适用场景:公开网页、无需登录的文章收藏,保存到 Obsidian Clippings 等本地库。

限制:不适用于摘要、改写、翻译,不抓登录后内容,不做整站爬虫归档或浏览器自动化测试。懒加载索引页需浏览器补链路;抓取失败需明确卡在链接收集、正文提取还是文件写入。Python 3 自动安装失败时应告知卡在运行时并提供平台推荐安装命令。其他站点支持、收费与价格信息暂未提供。