用途:从网页中提取并处理数据,适合需要批量采集页面内容、解析 HTML 的任务。触发方式为 /scrape 命令,或在用户请求网页数据提取、需要解析 HTML 时使用。
主要能力:提供基于 Puppeteer 和 Cheerio 的抓取与解析示例。Puppeteer 方案可启动无头浏览器、设置 User-Agent、等待元素加载并通过 page.evaluate 提取结构化数据;Cheerio 方案通过 axios 获取页面后用 CSS 选择器解析标题、作者、日期、正文和标签。配套 RateLimiter 类可设置请求间隔,实现排队与限速,示例中默认为 1 秒、可配置为 2 秒。
使用方式:资料仅给出 TypeScript/Node.js 代码示例,未提供安装命令或 CLI 用法。依赖库包括 puppeteer、axios、cheerio。
适用场景:商品信息、文章内容的采集与结构化提取,以及需要控制请求频率的批量抓取。
限制:兼容性标注为 Codex 与 Claude Code 可用。资料未说明收费、价格、平台支持范围、具体效果或完整使用步骤,这些信息暂未提供。请遵守目标网站规则并合理使用限速。