用途：抓取网页、搜索互联网、提取结构化内容，适用于读取网页/URL、在线搜索、提取链接表格或结构化数据、抓取 JS 渲染的动态页面，以及将网页内容转为干净的 Markdown 供分析。
主要能力：fetch_page.py 抓取 URL 并提取可读内容为 Markdown；search_web.py 通过 DuckDuckGo 搜索（无需 API key）；crawl_dynamic.py 用无头浏览器抓取 JS 渲染页面；extract_links.py 提取并按内部、外部、资源分类页面链接。
使用方式：首次安装轻量依赖 pip install requests beautifulsoup4 readability-lxml html2text ddgs；动态页面需 pip install crawl4ai 并运行 crawl4ai-setup（会下载约 150 MB 的 Chromium）。抓取静态页面用 python scripts/fetch_page.py "URL"，支持 --raw、--selector、--save、--max-length；搜索用 python scripts/search_web.py "search query"，支持 --max-results、--region、--news；动态页面用 python scripts/crawl_dynamic.py "URL"，支持 --wait、--selector、--scroll、--save、--max-length；链接提取用 python scripts/extract_links.py "URL"，支持 --filter、--external-only、--json。若脚本报 ImportError 或模块缺失，安装依赖后重跑同一命令，不要改用内联 Python 代码替代。
适用场景：主题研究（先搜索再抓取）、从页面提取表格或特定元素、抓取 SPA 等现代 Web 应用。
限制：付费墙站点可能只返回部分内容或登录页；遇到 403/429 限流或验证码需等待重试或告知用户；超大页面建议用 --max-length 截断；脚本默认处理 UTF-8，特殊编码可能需手动调整；脚本不检查 robots.txt，需自行遵守网站服务条款。