SuperAPI AI 工具集

z-web-pack

通用与其它

查看项目

更新于 10-16 09:55

技能介绍

用途:把用户提供的一个或多个同主题链接,整理成可直接用于写作的本地资料包,包含入口正文、正文内高价值相关链接、配图和索引清单。

主要能力:逐个阅读入口链接正文及正文相关链接;过滤导航、页脚、广告、登录订阅、招聘、隐私条款和社交分享;只采正文、正文表格、正文图片、正文代码和相关链接。图片保存到 assets/ 并在 Markdown 中用本地相对路径;支持懒加载真实地址、srcset 最大档、防盗链 Referer、按魔数纠正扩展名、sha256 去重,自动跳过 badge 与 tracking 像素。视频只登记不下载。

输出结构:默认保存到 /Users/zz/Library/Mobile Documents/iCloud~md~obsidian/Documents/zhangAI/Clippings/Reading/,每次任务建 YYYY-MM-DD-主题名/ 文件夹,含 README.md、00-research-brief.md、01-link-inventory.md、02-image-inventory.md、03-reading-map.md、04-media-inventory.md、MAIN-.md、LINKED-.md,受限时生成 05-access-notes.md,图片位于 assets/。

用法:必须使用 miniconda 的 Python(系统 python3 缺 readability-lxml):/Users/zz/miniconda3/bin/python3;脚本为 scripts/collect_web_pack.py。保守单篇模式使用 --max-depth 0 --max-pages 1;研究模式使用 --max-depth 1 --max-pages 40。其他参数包括 --same-domain-only、--no-jina、--max-image-mb(默认 20)、可重复的 --support-url。脚本路径相对项目根,运行前先 cd 到 zhangAI 目录或改用绝对路径。抓取顺序为 GitHub API/raw 优先,其次常规 HTTP 正文,再 Markdown/JSON/纯文本直存,最后才用 r.jina.ai 兜底。

限制:不下载视频,不调用 yt-dlp,不读取浏览器 cookie;需要下载视频时转用 z-video-downloader。受限来源需保留受限说明并补入公开支持来源。部分能力与校验命令依赖本机路径,暂未提供更多平台信息。