用途：递归抓取网页并提取干净文本，支持跟随链接、并发请求、URL 去重、按 URL 结构生成目录层级、过滤无关内容并限制域名范围。适用于下载在线文档、批量提取网页文本、爬取站点信息、本地归档网页内容、收集研究数据以及构建文本数据集。
主要能力：单页抓取（--depth 0）；递归跟随链接（--depth N）；限制页数（--max-pages）；并发控制（--concurrent，默认 10）；域名限制（默认仅同域，可用 --follow-external 或 --allowed-domains）；支持多个起始 URL；自定义 User-Agent 与超时；--verbose 输出详细日志。输出按 URL 结构生成目录，每页保存为文本文件，并生成 _metadata.json 记录统计与错误。内容提取优先 main、article、body，移除脚本、样式、导航、页眉页脚、侧栏、iframe、SVG、评论，并过滤 cookie 提示、隐私政策、服务条款、箭头、孤立数字和过短行。
使用方式：先安装依赖 pip install aiohttp beautifulsoup4 lxml aiofiles，再运行 python scripts/scrape.py <URL> <output-directory> --depth 0 等命令；可用 python scripts/scrape.py --help 查看完整帮助。
限制：不执行 JavaScript，单页应用可能无法抓取；不处理认证或登录；不跟随 JavaScript 或动态加载内容中的链接；无内置速率限制，需通过 --concurrent 控制请求频率；会话内跟踪已访问 URL，但不跨运行持久化。建议先小规模测试、设置 --max-pages、检查 robots.txt、使用可识别的 User-Agent 并查看 _metadata.json 中的错误。