用途:当用户给出一个或多个同主题网页链接,要求采集网页素材、把正文拿到本地、下载正文相关链接与配图、做成备用写作素材包时使用。
主要能力:逐个读取入口链接正文及正文内高价值相关链接,过滤导航、页脚、广告和社交分享;只采正文、正文表格、正文图片、正文代码和正文内相关链接。图片下载到 assets/,Markdown 用本地相对路径;支持懒加载真实地址、srcset 最大档、防盗链 Referer、按魔数纠正扩展名、sha256 去重,跳过 tracking 像素与 badge。视频只登记到 04-media-inventory.md,不下载。
输出:默认保存到 /Users/zz/Library/Mobile Documents/iCloud~md~obsidian/Documents/zhangAI/Clippings/Reading/,每次任务建独立文件夹 YYYY-MM-DD-主题名/,含 README.md、00-research-brief.md、01-link-inventory.md、02-image-inventory.md、03-reading-map.md、04-media-inventory.md、05-access-notes.md(存在受限来源时)、MAIN-.md、LINKED-.md 和 assets/。
使用方式:必须用 miniconda 的 Python 运行(系统 python3 缺 readability-lxml):/Users/zz/miniconda3/bin/python3。脚本为 scripts/collect_web_pack.py。保守模式示例:/Users/zz/miniconda3/bin/python3 .agent/skills/1-web-pack/scripts/collect_web_pack.py --out-root "..." --title "主题名" --max-depth 0 --max-pages 1 "https://example.com/article"。研究模式把 --max-depth 设为 1、--max-pages 设为 40。常用参数:--max-depth 1/2、--max-pages 40/80、--same-domain-only、--no-jina、--max-image-mb 20、--support-url URL(可重复)。脚本路径相对项目根,运行前先 cd 到 zhangAI 目录或改用绝对路径。
抓取顺序:GitHub 链接优先走 API/raw/README,其次常规 HTTP,Markdown/JSON/纯文本直接保存,失败或正文为空再用 r.jina.ai 兜底。
受限来源:遇付费墙、Cloudflare、DataDome、CAPTCHA、登录提示或 pages_restricted 大于 0 时,保留受限说明,搜索公开转载、官方材料或可信二次报道,用 --support-url 补入。
限制:不下载视频、不调用 yt-dlp、不读取浏览器 cookie;需下载视频时转用 z-video-downloader。收尾需检查是否残留非 r2blog.zhanglearning.com / r2.zhanglearning.com 的外链图片,若有须调用 1-upload-images-to-picgo。