用途：spider 用于网页爬取、抓取与分析，适合爬取网站、做安全扫描以及从网页中提取信息。
主要能力：使用 curl 抓取页面（含自定义请求头、跟随重定向、仅取响应头、保存到文件）；用 grep/sed 提取链接、脚本、meta 标签；对页面做快速站点扫描；借助 Gemini 做页面内容分析、安全扫描（检查缺失安全头、暴露敏感信息、脚本/表单潜在漏洞、Cookie 安全、HTTPS 配置）以及结构化数据抽取（如产品名、价格、描述）；支持多页爬取、sitemap.xml 解析、从 JS 中提取 API 端点，以及通过哈希比对监控页面变化。
使用方式：需先准备 curl；AI 分析需 pip install google-generativeai 并设置 GEMINI_API_KEY；可选安装 puppeteer 与 beautifulsoup4 以改善 HTML 解析。基本流程为用 curl 获取页面内容，再通过管道交给 grep/sed 或 gemini 命令处理。示例：curl -s "https://example.com"；curl -sL "https://example.com" -o page.html；curl -s "https://example.com" | grep -oE 'href="[^"]*"' | sort -u。
适用场景：网站内容与导航结构分析、SEO 与技术观察、安全头与配置检查、批量页面标题采集、sitemap 遍历、API 端点发现、页面变更监控。
限制与注意事项：应遵守 robots.txt、控制请求频率、设置 User-Agent、处理错误与 404、缓存响应，并确认目标站点服务条款是否允许抓取；仅抓取被允许的内容。资料未提供具体收费、价格、平台支持范围或效果保证。